OruxMaps

Uncategorized Boards => BETAS => Topic started by: orux on October 16, 2021, 11:06:28 AM

Title: NEXT BIG CHALLENGE
Post by: orux on October 16, 2021, 11:06:28 AM

As you know, Android requires, since sdk 30, that apps use only private storage (within Android/data/) to save their own files.


OruxMaps uses from its birth the oruxmaps/ folder at the root of the internal storage, to make it easier for users to manage maps, tracks,...


Since November 1, Google enforces apps to compile against the sdk 30, so the following versions of the app will require a big change from users:At the moment the versions published in the Amazon store and in the Huawei appstore will not be affected, because I will be able to continue compiling them against sdk 29, but the GP version will have to change in the coming months.


Soon I will publish a beta to start testing,

If anyone wants to share relevant information related to this issue, or has any suggestions, go ahead.




____________________________________________________________

Como sabéis, Android obliga, desde el sdk 30, a que las apps usen solo el almacenamiento privado (dentro de Android/data/) para guardar sus ficheros propios.

OruxMaps usa desde su nacimiento la carpeta oruxmaps/ en la raíz del almacenamiento interno, para facilitar a los usuarios la gestión de mapas, tracks, etc.


Desde el 1 de noviembre Google obliga a que las apps compilen  contra el sdk 30, por lo que las siguientes versiones de la app van a requerir un gran cambio a los usuarios.

De momento las versiones publicadas en Amazon store y en Huawei appstore no se verán afectadas, porque podré seguir compilándolas contra el sdk 29, pero la versión GP tendrá que cambiar en los próximos meses.

Próximamente publicaré una beta para empezar a ir probando.
Si alguien quiere compartir información relevante relacionado con este problema, o tiene alguna sugerencia, adelante.


orux
Title: Re: NEXT BIG CHALLENGE
Post by: LaurentG on October 16, 2021, 05:07:58 PM
Does it mean in particular that mapfiles, dem files, etc... cannot be any more on external SD ?
On a lot of smartphones (like mine... :( ), it would be a blocking point, since there is clearly not enough space in internal memory to store mapfiles...

In your post, you mention version published in amazon store a/o huawei store that are not impacted by google's ukase.
Why do not publish again directly on your site... on wich current version is still at 7.4.24 version ?
Title: Re: NEXT BIG CHALLENGE
Post by: orux on October 17, 2021, 09:12:27 AM
Quote from: LaurentG on October 16, 2021, 05:07:58 PM
Does it mean in particular that mapfiles, dem files, etc... cannot be any more on external SD ?
On a lot of smartphones (like mine... :( ), it would be a blocking point, since there is clearly not enough space in internal memory to store mapfiles...

In your post, you mention version published in amazon store a/o huawei store that are not impacted by google's ukase.
Why do not publish again directly on your site... on wich current version is still at 7.4.24 version ?
Also in the external SD there is a private space for the app (you can select between the private space in the internal storage and that of the SD), in Android/data/ but it is still private for the app, and difficult to access for certain operations.

Version 7.4.xx is a good free version. Offering the full final version on the web is not an option, it does not work as expected.



orux
Title: Re: NEXT BIG CHALLENGE
Post by: LaurentG on October 17, 2021, 05:53:43 PM
Quote from: orux on October 17, 2021, 09:12:27 AM
Version 7.4.xx is a good free version. Offering the full final version on the web is not an option, it does not work as expected.

I'd like to understand. Does it mean that you have modified your policy and do not want any more to provide your app for free, and that 7.4.xx is the last free version, or do you mean a technical reason ?
Title: Re: NEXT BIG CHALLENGE
Post by: lneam on October 17, 2021, 08:34:08 PM
users with android 10, will they have the same problems ?

when there is the next final version of orux GP into playstore, with those new rules, and we update it, what it will be happend when we run this version ? Now, we have all the data into oruxmaps/ folder at the root of the internal storage. The new app will automatic move user folders ?

for me, it is not a problem to move everytime the maps folder with the android file manager. this is only 3 seconds. Will this work or not ?
Title: Re: NEXT BIG CHALLENGE
Post by: orux on October 18, 2021, 07:08:14 AM
Quote from: lneam on October 17, 2021, 08:34:08 PM
users with android 10, will they have the same problems ?

when there is the next final version of orux GP into playstore, with those new rules, and we update it, what it will be happend when we run this version ? Now, we have all the data into oruxmaps/ folder at the root of the internal storage. The new app will automatic move user folders ?

for me, it is not a problem to move everytime the maps folder with the android file manager. this is only 3 seconds. Will this work or not ?
It will affect all phones with Android 10 or higher.

If the new version is an update, it will offer two options:
- continue as is (it will work as long as the app is not uninstalled, the moment it is uninstalled, the app loses access permission forever to the root of the internal storage or the SD)
- migrate the data (the app will try to do it) to private storage.

If it is a new installation, the app will no longer be able to access the files in the root of the internal storage, so the user will have to move the data manually.

orux
Title: Re: NEXT BIG CHALLENGE
Post by: orux on October 18, 2021, 05:24:54 PM
Quote from: LaurentG on October 17, 2021, 05:53:43 PM
Quote from: orux on October 17, 2021, 09:12:27 AM
Version 7.4.xx is a good free version. Offering the full final version on the web is not an option, it does not work as expected.

I'd like to understand. Does it mean that you have modified your policy and do not want any more to provide your app for free, and that 7.4.xx is the last free version, or do you mean a technical reason ?
Hi!
At the moment there is a free downloadable app on the web, and possibly there will continue to be a free version, which will be updated much less than the GP versions. It is the privilege of GP users, and having many versions of the free app circulating is not good. The 7.4.24 works very well. There are hundred of thousands downlads of that version last moths.

orux
Title: Re: NEXT BIG CHALLENGE
Post by: LaurentG on October 18, 2021, 05:39:16 PM
I confirm it works very well. I'm using it almost every day (privilege of retired people). Thanks a lot for it.

I was only wondering about its future. Your answer is clear : maybe it continue to exist (and to evolve), maybe not, you don't know yet at this time...
I'm quite sure I'm not alone to hope that it will be the first alternative....
Title: Re: NEXT BIG CHALLENGE
Post by: orux on October 18, 2021, 06:22:33 PM
Quote from: LaurentG on October 18, 2021, 05:39:16 PM
I confirm it works very well. I'm using it almost every day (privilege of retired people). Thanks a lot for it.

I was only wondering about its future. Your answer is clear : maybe it continue to exist (and to evolve), maybe not, you don't know yet at this time...
I'm quite sure I'm not alone to hope that it will be the first alternative....
I'm going to be honest with you.

When I started with the application, I did not care about the income, but a few years ago a little person came into my life, with a serious problem for life, and I have to think about her future.

When I say that total free does not work, it is that there is little incentive to pay for that type of work, and we have to create some type of external motivation.

The fact that Google Play removed the free version of Google Play showed me a way.

Now I no longer only think about day to day; the future matters to me, and not only matters, it worries me...


orux
Title: Re: NEXT BIG CHALLENGE
Post by: Juanjo on October 18, 2021, 09:14:01 PM
Hi Orux,

on Android 11, stock file browsers can not list files and folders inside /Android/data directory (where all the application files (maps, DEM, ...) will be stored in the near future) anymore.

Current oruxmaps builtin file browser can create folders but, as far as I can see, it lacks the ability to copy or move files around.

Does that mean that we are going to loose the ability to create ie subfolders in main maps folder?

Regards
Title: Re: NEXT BIG CHALLENGE
Post by: orux on October 19, 2021, 07:10:56 PM
Quote from: Juanjo on October 18, 2021, 09:14:01 PM
Hi Orux,

on Android 11, stock file browsers can not list files and folders inside /Android/data directory (where all the application files (maps, DEM, ...) will be stored in the near future) anymore.

Current oruxmaps builtin file browser can create folders but, as far as I can see, it lacks the ability to copy or move files around.

Does that mean that we are going to loose the ability to create ie subfolders in main maps folder?

Regards
No, it is possible, with AOSP file browser, but it is a bit tricky:
https://www.reddit.com/r/Android/comments/j3zgmm/managing_files_in_the_androiddata_folder_on/ (https://www.reddit.com/r/Android/comments/j3zgmm/managing_files_in_the_androiddata_folder_on/)
I want to facilitate the copy/folders creation option, directly opening the file manager in those folders, and adding an option to import files from downloads/ folder to the private app folders, but it is still a bit complex.


orux


Title: Re: NEXT BIG CHALLENGE
Post by: Juanjo on October 19, 2021, 09:04:05 PM
Quote from: orux on October 19, 2021, 07:10:56 PM
Quote from: Juanjo on October 18, 2021, 09:14:01 PM
Hi Orux,

on Android 11, stock file browsers can not list files and folders inside /Android/data directory (where all the application files (maps, DEM, ...) will be stored in the near future) anymore.

Current oruxmaps builtin file browser can create folders but, as far as I can see, it lacks the ability to copy or move files around.

Does that mean that we are going to loose the ability to create ie subfolders in main maps folder?

Regards
No, it is possible, with AOSP file browser, but it is a bit tricky:
https://www.reddit.com/r/Android/comments/j3zgmm/managing_files_in_the_androiddata_folder_on/ (https://www.reddit.com/r/Android/comments/j3zgmm/managing_files_in_the_androiddata_folder_on/)
I want to facilitate the copy/folders creation option, directly opening the file manager in those folders, and adding an option to import files from downloads/ folder to the private app folders, but it is still a bit complex.

orux

OK, thank you orux for the reddit link.
Is my understanding correct that you are going to:

- implement a tool to import files from the shared storage to the private one?
- replace the oruxmaps builtin file browser with the AOSP one?

Regards
Title: Re: NEXT BIG CHALLENGE
Post by: orux on October 21, 2021, 01:08:57 PM
Quote from: Juanjo on October 19, 2021, 09:04:05 PM
Quote from: orux on October 19, 2021, 07:10:56 PM
Quote from: Juanjo on October 18, 2021, 09:14:01 PM
Hi Orux,

on Android 11, stock file browsers can not list files and folders inside /Android/data directory (where all the application files (maps, DEM, ...) will be stored in the near future) anymore.

Current oruxmaps builtin file browser can create folders but, as far as I can see, it lacks the ability to copy or move files around.

Does that mean that we are going to loose the ability to create ie subfolders in main maps folder?

Regards
No, it is possible, with AOSP file browser, but it is a bit tricky:
https://www.reddit.com/r/Android/comments/j3zgmm/managing_files_in_the_androiddata_folder_on/ (https://www.reddit.com/r/Android/comments/j3zgmm/managing_files_in_the_androiddata_folder_on/)
I want to facilitate the copy/folders creation option, directly opening the file manager in those folders, and adding an option to import files from downloads/ folder to the private app folders, but it is still a bit complex.

orux

OK, thank you orux for the reddit link.
Is my understanding correct that you are going to:

- implement a tool to import files from the shared storage to the private one?
- replace the oruxmaps builtin file browser with the AOSP one?

Regards
Hello!

We can continue here: https://oruxmaps.org/forum/index.php?topic=40171.0 (https://oruxmaps.org/forum/index.php?topic=40171.0)

orux
Title: Re: NEXT BIG CHALLENGE
Post by: Starfighter on May 30, 2022, 08:48:24 PM
Hola orux,
he probado la versión 9 y me he quedado sorprendido por la nueva normativa de Google que recorta claramente posibilidades al programa.
He intentado explorar la forma de paliar el problema creado y no he encontrado la vía: programas como Explorer no pueden realmente acceder a los ficheros y, por si fuera poco, tampoco Root Explorer puede hacerlo
No estoy seguro pero, y si los datos se guardaran bajo el directorio Android/media en lugar de data?
Se me ocurre otra propuesta que podría ser válida: colocar la estructura oruxmaps/* bajo la carpeta Documents, por ejemplo. No es concebible que mp3, podcasts, alarmas, videos, fotos, etc se puedan guardar en carpetas especiales compartidas y mapas, tracks, etc no puedan hacerlo cuando son archivos que pueden cambiar con relativa frecuencia.
Te añado un uso muy concreto que con la nueva propuesta es imposible utilizar. Se trata de los archivos dem; bajo el directorio dem tengo subcarpetas, una de ellas con los archivos hgt de toda españa y luego otras carpetas de zonas muy concretas con archivos hdr, permitiéndome elegir el directorio concreto que me interesa en un momento dado.
Espero que se me entienda y si no fuera el caso, por favor, pregúntame que intentaré aclararlo mejor.
Por el momento, y después de probar la beta 9.02 cme quedo en la versión 8.5.5
Gracias por tu excelente aplicación.
Saludos,
Title: Re: NEXT BIG CHALLENGE
Post by: orux on May 31, 2022, 06:46:24 AM
Quote from: Starfighter on May 30, 2022, 08:48:24 PM
Hola orux,
he probado la versión 9 y me he quedado sorprendido por la nueva normativa de Google que recorta claramente posibilidades al programa.
He intentado explorar la forma de paliar el problema creado y no he encontrado la vía: programas como Explorer no pueden realmente acceder a los ficheros y, por si fuera poco, tampoco Root Explorer puede hacerlo
No estoy seguro pero, y si los datos se guardaran bajo el directorio Android/media en lugar de data?
Se me ocurre otra propuesta que podría ser válida: colocar la estructura oruxmaps/* bajo la carpeta Documents, por ejemplo. No es concebible que mp3, podcasts, alarmas, videos, fotos, etc se puedan guardar en carpetas especiales compartidas y mapas, tracks, etc no puedan hacerlo cuando son archivos que pueden cambiar con relativa frecuencia.
Te añado un uso muy concreto que con la nueva propuesta es imposible utilizar. Se trata de los archivos dem; bajo el directorio dem tengo subcarpetas, una de ellas con los archivos hgt de toda españa y luego otras carpetas de zonas muy concretas con archivos hdr, permitiéndome elegir el directorio concreto que me interesa en un momento dado.
Espero que se me entienda y si no fuera el caso, por favor, pregúntame que intentaré aclararlo mejor.
Por el momento, y después de probar la beta 9.02 cme quedo en la versión 8.5.5
Gracias por tu excelente aplicación.
Saludos,

No creas que no me he resisistido, y no le he dado vueltas...

Android/media está 'obsoleto' con lo que en cualquier momento Google lo elimina o no deja usarlo, con lo que volvemos a otra migración que sería otra locura.

Las carpetas media, descargas,... tienen otras limitaciones. La propiedad de los ficheros es temporal por parte de las apps que los crean, el acceso a las que no son tuyos no es directo,...
Explorer sí puede acceder a las carpetas bajo Android/data/ con lo cual con ese explorador puedes mover/eliminar/copiar,... en las carpetas de la app. No es el único navegador de ficheros, lo único que hay que hacer es darle el permiso para el acceso.

Si actualizas de 8.5 a 9.x, la app te da la opción de NO migrar al nuevo sistema de almacenamiento, con lo que puedes actualizar y mantener los ficheros donde siempre. Solo cuando se instala de cero (no actualización de versión antigua) la app se ve forzada sí o sí a usar el nuevo sistema de acceso a ficheros.



orux



Title: Re: NEXT BIG CHALLENGE
Post by: Starfighter on June 01, 2022, 02:08:39 PM
Quote from: orux on May 31, 2022, 06:46:24 AM
No creas que no me he resisistido, y no le he dado vueltas...

Android/media está 'obsoleto' con lo que en cualquier momento Google lo elimina o no deja usarlo, con lo que volvemos a otra migración que sería otra locura.

Las carpetas media, descargas,... tienen otras limitaciones. La propiedad de los ficheros es temporal por parte de las apps que los crean, el acceso a las que no son tuyos no es directo,...
Explorer sí puede acceder a las carpetas bajo Android/data/ con lo cual con ese explorador puedes mover/eliminar/copiar,... en las carpetas de la app. No es el único navegador de ficheros, lo único que hay que hacer es darle el permiso para el acceso.

Si actualizas de 8.5 a 9.x, la app te da la opción de NO migrar al nuevo sistema de almacenamiento, con lo que puedes actualizar y mantener los ficheros donde siempre. Solo cuando se instala de cero (no actualización de versión antigua) la app se ve forzada sí o sí a usar el nuevo sistema de acceso a ficheros.

orux

En primer lugar, gracias por tu rápida respuesta.

Por fin he conseguido acceder a los directorios de la aplicación y copiar ficheros de mapas en ellos. Es muy incómodo porque obliga a copiar primero a una carpeta compartida desde el PC y luego desde esta a, por ejemplo, mapfiles... pero es posible y habrá que conformarse.

La parte a la que no veo solución sin que lo facilite Oruxmaps es a la de los ficheros DEM.
Me explico: dentro del directorio dem tengo creado otro (hgt) con todos los archivos *.hgt de España,
pero con bastante frecuencia cuando voy a una zona concreta, pongamos Picos de Europa, me creo a partir de los datos de CNIG duplas dem/hdr con una precisión muy alta y los coloco en otra carpeta específica, también dentro de la carpeta dem.
Esto me permite, dependiendo de la necesidad, tener un sombreado distinto de la zona de interés.
Es obvio que ambos tipos de archivos no pueden convivir en la misma carpeta pues entrarían en conflicto...
Creo que la única forma de solucionarlo sería flexibilizando la elección del directorio dem, tal como estaba en versiones anteriores pero desconozco la dificultad que eso puede suponer.
Adjuntaría un fichero hdr/dem de ejemplo pero el más pequeño que tengo (8.40MB) sobrepasa el límite del foro.
Saludos,
Title: Re: NEXT BIG CHALLENGE
Post by: orux on June 01, 2022, 03:33:12 PM
Quote from: Starfighter on June 01, 2022, 02:08:39 PM
En primer lugar, gracias por tu rápida respuesta.

Por fin he conseguido acceder a los directorios de la aplicación y copiar ficheros de mapas en ellos. Es muy incómodo porque obliga a copiar primero a una carpeta compartida desde el PC y luego desde esta a, por ejemplo, mapfiles... pero es posible y habrá que conformarse.

La parte a la que no veo solución sin que lo facilite Oruxmaps es a la de los ficheros DEM.
Me explico: dentro del directorio dem tengo creado otro (hgt) con todos los archivos *.hgt de España,
pero con bastante frecuencia cuando voy a una zona concreta, pongamos Picos de Europa, me creo a partir de los datos de CNIG duplas dem/hdr con una precisión muy alta y los coloco en otra carpeta específica, también dentro de la carpeta dem.
Esto me permite, dependiendo de la necesidad, tener un sombreado distinto de la zona de interés.
Es obvio que ambos tipos de archivos no pueden convivir en la misma carpeta pues entrarían en conflicto...
Creo que la única forma de solucionarlo sería flexibilizando la elección del directorio dem, tal como estaba en versiones anteriores pero desconozco la dificultad que eso puede suponer.
Adjuntaría un fichero hdr/dem de ejemplo pero el más pequeño que tengo (8.40MB) sobrepasa el límite del foro.
Saludos,

Prueba la siguiente beta.
Ya se pueden seleccionar carpetas dentro de la carpeta principal en cada uno de los directorios.


orux


Title: Re: NEXT BIG CHALLENGE
Post by: Starfighter on June 01, 2022, 09:58:57 PM
Quote from: orux on June 01, 2022, 03:33:12 PM
Prueba la siguiente beta.
Ya se pueden seleccionar carpetas dentro de la carpeta principal en cada uno de los directorios.


orux
Acabo de probar la beta 9.0.4 y me parece perfecta la solución.
Muchisimas gracias por tan pronta respuesta y mis felicitaciones por tu excelente aplicación, para mi la mejor
Title: Re: NEXT BIG CHALLENGE
Post by: Starfighter on June 05, 2022, 05:25:38 PM
Hola orux,
sigo probando las betas para detectar pérdoda de funcionalidades con el cambio que se avecina y en esta ocasión me centraré en el uso de la tarjeta SD.

Muchos usuarios recurrimos a la tarjeta SD cuando se trata de archivos voluminosos como los dem y los mapas con el fin de ahorrar espacio en el almacenamiento interno a la par de hacer portables a otros dispositivos los archivos y flexibilizar su manejo.

Y es en el uso de la tarjeta donde he encontrado todos los problemas del mundo con el nuevo almacenamiento privado (Android/data).

No es posible acceder a los datos de ninguna forma: programas como Explorer/Root Explorer, Solid Explorer y X-plorer (los he probado), no pueden acceder de ninguna forma, aunque sí pueden acceder a los datos en el almacenamiento interno ¿?

Ni siquiera Oruxmaps tiene acceso cuando usa la app del sistema, Files, como gestor de archivos.

Comento brevemente un caso que creo muy significativo: Sali a hacer una ruta creando un track y cuando traté de exportarla a gpx... seguí sin tener acceso a dicho track pues automáticamente lo guarda en Android/data/oruxmaps/tracklogs que al estar en la tarjeta SD no es accesible... ah, y tampoco se pueden cargar desde Oruxmaps los ficheros .gpx recien creados por la aplicación misma!

Entiendo que en este último ejemplo bastará con no asumir el directorio de destino y preguntar al usuario dónde quiere exportar el archivo.

Tengo la sospecha de que estamos asistiendo a una iOS-ificación de Android y que puede que el siguiente paso sea la supresión de cualquier medio externo de almacenamiento en favor de sus propuestas interesadas como Google Drive, Dropbox, etc... y que para copiar un fichero desde/hacia el pc tenga que dar antes la vuelta al mundo de servidor en servidor...

Quizá, y entiendo que eso puede ser un curro enorme, la única solución sea que Oruxmaps se encargue directamente de de comunicar, en un sentido y en otro, la parte privada con la compartida, y eso podría hacerse extensible a todos loa archivos.

En mi opinión, aquí se produce el sinsentido de considerar archivos de usuario como archivos de la aplicación y no es el caso, porque tanto mapas como dem's como gpx son tan de usuario como los .pdf, los .mp3 o los .docx

Disculpa la parte política de mi mensaje, pero no me he podido aguantar y quizá en algún foro pudieran servir como argumento.

Saludos
Title: Re: NEXT BIG CHALLENGE
Post by: CronoX on November 13, 2022, 12:47:18 AM
There is a file Explorer app that works fine with Android , FV File Explorer
Title: Re: NEXT BIG CHALLENGE
Post by: Starfighter on November 15, 2022, 05:26:41 PM
Quote from: CronoX on November 13, 2022, 12:47:18 AM
There is a file Explorer app that works fine with Android , FV File Explorer
Lo sé, CronoX, pero ninguno de ellos puede acceder a esos mismos directorios en la tarjeta externa que es donde guardo principalmente los mapas y los archivos dem (.hgt y .hdr) que ocupan varios gigas...

Bueno, hay varias apps que pueden acceder a toda la tarjeta SD siempre que tengan permisos de "root".

Aun así, estas carpetas no son visibles desde el PC, por lo que tampoco puedes copiar archivos como antes...