CKAN - preview XLS datových souborů #148

Closed
opened 2017-11-23 18:58:06 +01:00 by Podhorecky · 16 comments
Podhorecky commented 2017-11-23 18:58:06 +01:00 (Migrated from git.spotter.cz)

podle dokumentace http://docs.ckan.org/en/latest/maintaining/data-viewer.html
je možno nastavit, jak se můžou zobrazovat v náhledu data.

Typicky jako tabulka, grafy, mapa atd...
u některých souborů, jako CSV nebo GeoJson to funguje, zatim se mi nepodařilo prohlídnout XLS nebo XLSX soubory.

mrkněte se prosím, zda je v nastavení něco o excelu, případně nastavte.
patrně by se o to měl starat plugin DataStore
http://docs.ckan.org/en/latest/maintaining/datastore.html

podle dokumentace http://docs.ckan.org/en/latest/maintaining/data-viewer.html je možno nastavit, jak se můžou zobrazovat v náhledu data. Typicky jako tabulka, grafy, mapa atd... u některých souborů, jako CSV nebo GeoJson to funguje, zatim se mi nepodařilo prohlídnout XLS nebo XLSX soubory. mrkněte se prosím, zda je v nastavení něco o excelu, případně nastavte. patrně by se o to měl starat plugin DataStore http://docs.ckan.org/en/latest/maintaining/datastore.html
Disassembler commented 2017-11-28 19:33:45 +01:00 (Migrated from git.spotter.cz)

mentioned in commit a8e4dc63d3

mentioned in commit a8e4dc63d35417ee31142076aff7fa94e658b678
Podhorecky commented 2017-11-30 00:33:30 +01:00 (Migrated from git.spotter.cz)

jen pro zajímavost, tady je CKAN použit jako databáze humanitárních map, ukládají do toho kdeco.
https://maps.mapaction.org/

jen pro zajímavost, tady je CKAN použit jako databáze humanitárních map, ukládají do toho kdeco. https://maps.mapaction.org/
Disassembler commented 2017-11-30 10:00:16 +01:00 (Migrated from git.spotter.cz)

assigned to @Disassembler

assigned to @Disassembler
Disassembler commented 2017-11-30 23:50:43 +01:00 (Migrated from git.spotter.cz)

Dneska tu celý den ladím CKAN. Našel jsem zatím dva poměrně závažné problémy a navrch pár malých a celkem nevýznamných.

  1. Ukázalo se, že CKAN ani DataPusher nezvládají práci ve více procesech paralelně a naopak vyžadují vláknování (threading), což u webových aplikací není úplně obvyklé. Zatím to vypadá, že jsem to u sebe vyřešil, do repozitáře pushnu zítra.

  2. DataPusher nemá rád selfsigned certifikáty. I přesto, že existuje volba na vypnutí ověřování, nejspíše není použita všude. To způsobuje failování při nahrávání souborů. Bez HTTPS vše jede jak na drátkách a náhledy XLS i XLSX fungují. Updatoval jsem již existující ticket #82 v upstreamu, který se tímto zabývá. Existuje od 8.9.2015 :(

Dneska tu celý den ladím CKAN. Našel jsem zatím dva poměrně závažné problémy a navrch pár malých a celkem nevýznamných. 1. Ukázalo se, že CKAN ani DataPusher nezvládají práci ve více procesech paralelně a naopak vyžadují vláknování (threading), což u webových aplikací není úplně obvyklé. Zatím to vypadá, že jsem to u sebe vyřešil, do repozitáře pushnu zítra. 2. DataPusher nemá rád selfsigned certifikáty. I přesto, že existuje volba na vypnutí ověřování, nejspíše není použita všude. To způsobuje failování při nahrávání souborů. Bez HTTPS vše jede jak na drátkách a náhledy XLS i XLSX fungují. Updatoval jsem již existující ticket [#82](https://github.com/ckan/datapusher/issues/82) v upstreamu, který se tímto zabývá. Existuje od 8.9.2015 :(
Disassembler commented 2017-12-01 01:04:36 +01:00 (Migrated from git.spotter.cz)

A ještě jsem otevřel ticket #36 v repozitáři ckan-service-provideru, který osvětluje root cause celého bodu 2. A teď už jdu fakt spát.

A ještě jsem otevřel ticket [#36](https://github.com/ckan/ckan-service-provider/issues/36) v repozitáři ckan-service-provideru, který osvětluje root cause celého bodu 2. A teď už jdu fakt spát.
Disassembler commented 2017-12-01 10:18:07 +01:00 (Migrated from git.spotter.cz)

closed via commit ef89d2a562

closed via commit ef89d2a562bb0817a52672ade1751411f63bda30
Disassembler commented 2017-12-01 10:42:33 +01:00 (Migrated from git.spotter.cz)

Přeinstaloval jsem CKAN na Vámi dostupné instanci. Mimo řešení dvou výše zmíněných bugů (bod 1 nadobro, bod 2 workaroundem) jsem Vám ještě sebral rozšíření ckanext-scheming protože také interferovalo s uploadem. Jelikož se jedná o rozšíření k API, mohlo to být způsobeno pouze tím, že chybí dopsat customizaci na naší straně, ale to už je také úkol pro případného nebožáka programátora.

Přeinstaloval jsem CKAN na Vámi dostupné instanci. Mimo řešení dvou výše zmíněných bugů (bod 1 nadobro, bod 2 workaroundem) jsem Vám ještě sebral rozšíření [ckanext-scheming](https://github.com/ckan/ckanext-scheming) protože také interferovalo s uploadem. Jelikož se jedná o rozšíření k API, mohlo to být způsobeno pouze tím, že chybí dopsat customizaci na naší straně, ale to už je také úkol pro případného nebožáka programátora.
Disassembler commented 2017-12-01 13:38:54 +01:00 (Migrated from git.spotter.cz)

added ~14 label

added ~14 label
Podhorecky commented 2017-12-01 20:58:15 +01:00 (Migrated from git.spotter.cz)

další příklad CKAN v praxi je https://data.humdata.org/

kde mají celkem vymakanou funkčnost (design taky) a běží jim to na https://

tady je nějaký XLS
https://data.humdata.org/dataset/site-location-of-rohingya-refugees-in-cox-s-bazar/resource/6f6bff2d-342a-4209-b58f-e64a4703e979

budu zkoumat jak to mají udělané, kdybych objevil nějaký plugin, napíšu.

další příklad CKAN v praxi je https://data.humdata.org/ kde mají celkem vymakanou funkčnost (design taky) a běží jim to na https:// tady je nějaký XLS https://data.humdata.org/dataset/site-location-of-rohingya-refugees-in-cox-s-bazar/resource/6f6bff2d-342a-4209-b58f-e64a4703e979 budu zkoumat jak to mají udělané, kdybych objevil nějaký plugin, napíšu.
Disassembler commented 2017-12-01 21:20:24 +01:00 (Migrated from git.spotter.cz)

Jo, to jsem tu asi nezmínil - ten problém s HTTPS existuje jen když se používají self-signed certifikáty. Na řádně podepsaných produkčních ta verifikace samozřejmě projde a žádná chyba se nekoná. Nicméně CKAN inzeruje i funkci na vypnutí verifikace a ta je rozbitá.

Jo, to jsem tu asi nezmínil - ten problém s HTTPS existuje jen když se používají self-signed certifikáty. Na řádně podepsaných produkčních ta verifikace samozřejmě projde a žádná chyba se nekoná. Nicméně CKAN inzeruje i funkci na vypnutí verifikace a ta je rozbitá.
Podhorecky commented 2017-12-01 21:48:38 +01:00 (Migrated from git.spotter.cz)

mno, takže CKAN pro site HDX má zdroják zde, takže z toho by asi mělo jít vykoukat i případné použité pluginy. https://github.com/OCHA-DAP/hdx-ckan

momentálně nehrotím, žijící CKAN už máme, později se dá vymazlit.

mno, takže CKAN pro site HDX má zdroják zde, takže z toho by asi mělo jít vykoukat i případné použité pluginy. https://github.com/OCHA-DAP/hdx-ckan momentálně nehrotím, žijící CKAN už máme, později se dá vymazlit.
Podhorecky commented 2018-04-01 00:24:03 +02:00 (Migrated from git.spotter.cz)

changed milestone to %1

changed milestone to %1
Podhorecky commented 2018-10-31 17:53:15 +01:00 (Migrated from git.spotter.cz)
zavřeli issue [#36](https://github.com/ckan/ckan-service-provider/issues/36) https://github.com/ckan/ckan-service-provider/issues/36#event-1938147425
Disassembler commented 2018-10-31 17:57:20 +01:00 (Migrated from git.spotter.cz)

To je od nich milé. U nás jsme to vyřešili tak, že si ten self-signed certifikát při startu kontejneru injektujeme do úložiště důvěryhodných certifikátů, takže ověřování nemusíme vůbec vypínat. Stejně tak i ODK Buildu, který jinak odmítal posílat formuláře do Aggregate.

To je od nich milé. U nás jsme to vyřešili tak, že si ten self-signed certifikát při startu kontejneru injektujeme do úložiště důvěryhodných certifikátů, takže ověřování nemusíme vůbec vypínat. Stejně tak i ODK Buildu, který jinak odmítal posílat formuláře do Aggregate.
Podhorecky commented 2019-05-14 17:05:24 +02:00 (Migrated from git.spotter.cz)
mají dotaz https://github.com/ckan/datapusher/issues/82#issuecomment-491155753
Disassembler commented 2019-05-14 18:10:23 +02:00 (Migrated from git.spotter.cz)

Už mají i odpověď. Ale abyste to neměl tak jednoduché, tak jsem u toho zjistil, že rozbili další plugin. Tentokrát rovnou ten největší pro celý GIS - plugin spatial. Zítra jim to reportnu.

Už mají i odpověď. Ale abyste to neměl tak jednoduché, tak jsem u toho zjistil, že rozbili další plugin. Tentokrát rovnou ten největší pro celý GIS - plugin *spatial*. Zítra jim to reportnu.
Sign in to join this conversation.
No project
No Assignees
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: Spotter-Cluster/Spotter-VM#148
No description provided.