CKAN - navržené extensions k instalaci #137
Labels
No Label
app-basic
app-ckan
app-crisiscleanup
app-cts
app-decidim
app-dhis2
app-frontlinesms
app-gnuhealth
app-kanboard
app-mifosx
app-motech
app-odoo
app-opendatakit
app-pandora
app-sahana
app-seeddms
app-sigmah
app-taarifa
app-ushahidi
critical
CZ
documentation
Doing
enhancement
GMaps
info
Mapbox
needinfo
new-app
OSM
performance
QGIS
regression
suggestion
To Do
upstream
No Milestone
No project
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies
No dependencies set.
Reference: Spotter-Cluster/Spotter-VM#137
Loading…
Reference in New Issue
Block a user
No description provided.
Delete Branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Line, bar and pie charts for CKAN
http://extensions.ckan.org/extension/basiccharts/
CKAN automator
http://extensions.ckan.org/extension/ckan-automator/
Generation and display of thumbnail images for datasets
http://extensions.ckan.org/extension/datasetthumbnail/
Extension to allow organization admins to export organization datasets to Excel
http://extensions.ckan.org/extension/dgvat_xls/
prosím nainstalovat, případně okomentovat problém.
CKAN Geospatial ResourceView
https://github.com/ckan/ckanext-geoview
Přidány
Automator jsem nepřidával, protože se jedná o nějaké funkce navíc k API a neinstaluje se jako ostatní. Má smysl pouze v případě, že byste chtěl programovat nějaké úlohy přímo z příkazové řádky.
Dále u dgvat_xls pravděpodobně bude chybět část konfigurace. Čtu-li správně, vyžaduje nějaký XLS template.
No a v neposlední řadě se obávám, že pluginy jsou zastaralé a budou vznikat konflikty s aktuální cutting-edge verzí CKANu. Navíc vlastně netuším, jak má celý ten nástroj fungovat, takže v případě konkrétních chyb prosím o co možná nejblbuvzdornější postup k reprodukci. Změny commitnu až se dobereme k nějakému stabilnímu stavu.
Ok, díky, podívám se na to. CKAN jako nástroj je vpodstatě sklad strukturovaných dat typu JSON, CSV, XLS a jiných podobných datových souborů, které budou mít metadata. Rozšiřující funkce to pomáhají nějak zatraktivnit o vizualizace, nebo lokalizace. Používá se dost často v institucích. V rámci mého projektu si neslibuji superlativy, ale sázím tak trochu na "zavedenou značku" . Do budoucna bych rád porozuměl jak procesně přizpůsobit ukládání datasetů a v jaké formě tak, aby z toho byly relevantní podklady pro analýzu, nebo statistiku. Případně jak integrovat přesuny dat mezi různými SW.
Příklad:
Uživatel např. regionální NNO se zaměřením na biodiverzitu cizopasníků nasbírají v terenu data o rozšíření blech v okolí Chánova. Data nasbírají buď s pomocí Sahany, nebo nějakého formulářového vstupu přes OpenData Kit. Až budou nasbíraná za konkrétní období, tak si řeknou že stačilo, data z DB vyfiltrují a vyexportují do CSV nebo XLS a uloží ho do CKANu a opatří ho jasným popisem Co nasbírali, kdy, jakou to má licenci, atd. Pak pokračují dál, nebo sbírají data zase jiná. Až je projekt hotov, zas to hodí do CKANu. V CKANu si pod svým účtem nasyslí několik datasetů s různými časovými odstupy. Nebo s různými jinými parametry. Někdo, kdo si dal tu práci si pak udělá souhrnnou analýzu, z které vyplyne že se za období několika let v Čhánově daří blechám. Jelikož to dělal v rámci projektu, dostane na základě sesbíraných dat další peníze na podporu blech v regionu.
follow-up je ten, že:
Pointa je v tom, že vznik tweetu má za sebou tvrdá data, která jsou nějak dohledatelná. Bez nich by to byl jen canc.
Je k diskusi, jak trvalá ta data budou a kde budou dostupná, tohle je příležitost k vývoji do budoucnosti.
(ano, moje plány byly vždycky divné:)
Nějaké testy se pokusím udělat, jakmile do toho proniknu.
pravděpodobně bude ještě vhodné rozfungovat tyto pluginy:
Datapusher
http://docs.ckan.org/projects/datapusher/en/latest/
https://github.com/ckan/datapusher
Datastore
http://docs.ckan.org/en/latest/maintaining/datastore.html#setting-up-the-datastore
je to na poslání datasetu z CKAN na nějaké jiné úložiště, asi cloud.
další pluginy pro CKAN budu zkoumat, pokud usoudím že by to bylo ok, tak napíšu.
řekněme, že jsou strukturovaná číselná data s polohou, časem a metadaty, např. výskyt ptáků, které sbírá ČSO. Ornitologové v terénu zapíší data do své databáze.
(ČSO má různé databáze, ale nečekám že by na nich dělali nějakou komplexní analýzu a vizualizaci s výstupem do 2D map. Museli by na to mít buď draze placený SW, nebo hodně šikovné lidi a free sw)
Vybraná data tedy vyexportují v CSV a načtou do CKANu.
aby se daly datově analyzovat, je potřeba plugin
https://github.com/ckan/ckanext-spatial
a
https://github.com/XVTSolutions/ckanext-spatialUI
z výsledku analýzy může vzniknout třeba další dataset nebo GIS datový formát.
a aby se výsledky daly zobrazit na mapě, pak k tomu je plugin
https://github.com/ckan/ckanext-geoview (už instalovaný)
takto si zhruba představuji postup, jak vyrobit např. heatmapu ČR z nějakého datového výseku.
čili.. potřebuji se dobrat stavu, aby CKAN uměl pracovat s GISovými daty a případně rozšířil svou funkčnost pluginy tak, aby to vypadalo jako schopný datový nástroj vyrábějící něco "hezky srozumitelného". Výhodou bude, když předvedu "sexy feature" která zaujme.
No a tuto featuru potřebuji najít a vyzkoušet si. :)
https://github.com/ckan/ckanext-mapviews
tady je ukázka jak to vypadá s analýzou geodat
https://vimeo.com/116324887
mentioned in commit
d1cf63d8e4Datapusher + datastore jsem instaloval ve výchozí instalaci. Bez nich mi ten nástroj připadal neužitečný, protože neuměl požrat data z externích souborů.
Dále nainstalováno
paráda, zatim to vypadá, že to maká jak Andrejova dotační divize. :)
podle videa jsem ještě vyšťoural, že existuje rozšíření k těm mapičkám
mentioned in commit
1d022f3082Přidán https://github.com/ckan/ckanext-scheming, nicméně se tváří, že jde taky o rozšíření k API a ne k funkcím dostupným v GUI.
nevím, možná že to je věc další konfigurace pluginu ckanext-spatial a použití snippetu https://github.com/florianm/ckanext-scheming/blob/master/ckanext/scheming/templates/scheming/form_snippets/spatial.html
prostě na tom videu je vidět způsob používání - zjevně jde o rozšíření v gui. Jiný zdroj na sw tam nebyl uvedený.
ok, zatím to nehroťme, nechme to otevřené a odložené na později.
Aha. Koukám na ty odkazy u videa a vypadá to, že jde o ještě neakceptovaný pull request https://github.com/ckan/ckanext-spatial/pull/93 který je bohužel konfliktní s aktuálními verzemi CKANu.
ok, pak tedy nepředbíhejme událostem. pardon
prosím přidat pluginy
Deliverance
http://extensions.ckan.org/extension/deliverance/
Gallery
http://extensions.ckan.org/extension/gallery/
ms Office files
http://extensions.ckan.org/extension/officedocs/
Simple CMS
http://extensions.ckan.org/extension/pages/
QA
http://extensions.ckan.org/extension/qa/
TagManager
https://github.com/alantygel/ckanext-tagmanager
mentioned in commit
e2d3fc32bdHezké. Skoro jackpot. Půl dne práce v prdeli a nainstalováno je akorát
Rozšíření Deliverance dostalo poslední (tj. třetí) commit téměř přesně před šesti lety. V nastavení vyžaduje adresu blogu, ze kterého má tahat stránky a vyžaduje napsání sady pravidel, která nastavují jakým způsobem se data mají tahat a transformovat. Stručně řečeno - vlastně si celý plugin musíme napsat sami, git repo nám jen v hrubých obrysech naznačí, jak se to dá udělat (resp. jak se to dalo udělat před šesti lety).
Za Gallery by měl někdo dostat po držce. Naprosto bez jakékoliv dokumentace. Je to zas nějaká hipsterovina a potřebuje NodeJS k tomu, aby jeho balíčkovacím systémem (Bower) mohla stáhnout nějaké javascriptové závislosti. Takže kvůli tomu, že programátorovi bylo líno napsat do instrukcí dva řádky navíc bych teď měl stahovat 100 MB runtime. Naštěstí jsem jěště zjistil, že modul má pravděpodobně nějaké dodatečné konfigurační direktivy, které nemám nejmenší tušení jak nastavit. Takže jsem alespoň otevřel issue #12 v upstreamu. Třeba se něco dozvíme.
Rozšíření OfficeDocs posílá dokumenty na view.officeapps.live.com, samotné rozšíření žádný kód pro práci s MS Office nebo OpenOffice formáty nemá. To nejspíše není to, co hledáte.
Rozšíření QA závisí na rozšířeních Report a Archiver. Archiver ale není kompatibilní s CKAN 2.7 a novějšími (máme 2.8). Existují pro to otevřená issue #51 a #52 pro QA a #42 pro Archiver (ten je důležitější).
Rozšíření TagManager vyžaduje Natural Language Toolkit - platformu pro analýzu jazyka - ta zabírá 3,3 GB. Prosím o potvrzení, že jej skutečně chcete instalovat.
uff... takže zase tragedie... chápu. Abyste mne moc neproklínal, váš čas samozřejmě počítejte.
Odhaduji, že další fakturu byste mohl připravit ještě před koncem roku.
Tohle co jste vyzkoumal má hodnotu i do budoucna. Pokud by se stalo, že po mě někdo bude chtít nějakou funkčnost. Z vašeho průzkumu už raději řeknu, že to nejde a nebudu slibovat.
Přemýšlím, jestli by stálo zato vzniknout nějaký wiki list, kde bude vyjmenováno, co všechno určitě neinstalovat.
Takže shrnutí: OK, nenaléhám. bez takových pluginů se obejdeme.
Pokud přistane ještě nějaká informace o Gallery, uvidíme, ale netrvám na žádném ze jmenovaných pluginů za každou cenu.
Díky moc!
P.S. v mé předchozí praxi jsem se mnohokrát setkal s tím, jak strašně byl naprogramován komerční(!) profesionální(!!) software, nejlepší ve své kategorii(!!!). Z toho jsem formuloval vlastní postulát: "Rozdíl mezi výrobcem SW a systemovým integrátorem je v tom, že integrátor přesně doporučuje, který software raději neinstalovat."
No zrovna zmíněné závislosti QA, zejména Archiver, na mě působil velice užitečně. Umožňuje pak dávkově zpracovávat celý dataset jedním vrzem (což právě dělá QA) nebo ho nabídnout ke stažení jako velký tlustý zip. Budu po očku sledovat, jestli dojde k nějakému vývoji, ale ten ticket je otevřený od 24. března, takže se chlapci evidentně moc nepřetrhnou.
Co se týče Wiki, směle do toho. Nedokážu posoudit co z toho, co ze mě padá, je pro Vás jakým způsobem hodnotné, takže klidně vesele vytvářejte stránky a podstránky a zaznamenávejte a copypastujte. Plaintextu se mi na server vleze hodně :)
To mě upřímně vůbec nepřekvapuje. Přesně takovou zkušenost jsem měl s posledním "velkým" projektem kde tímto softwarem byl šílený bastl na monitoring a vzdálené ovládání chladící techniky. Napsané to bylo ve čtyřech různých jazycích, podle toho, jakého študáka zrovna dostali na stáži a celé to pralo do databáze 4000 dotazů za sekundu bez jakéhokoliv cacheování. Proti tomuhle je Sahana slušně napsaná a vzorně udržovaná. V tohle má OSS výhodu. Ve chvíli, kdy někdo kód takového bastlu otevře, sejde se pár lidí, kteří mají ponětí o tom co dělají a kód můžou upravit.
Hezkým příkladem byla přes pár lety aplikace Supervizor od MFČR. Otevřeli kód a v tu chvíli se spustil shitstorm. Importní heslo měli ve zdrojáku nastavené natvrdo. Hashovali MD5 algoritmem, který je silně nedoporučovaný už tak 7 let. Měli tam triviální díru pro XSS injection, méně triviální pak pro SQL injection a hromadu dalších věcí. Během prvního měsíce tu aplikaci s pomocí veřejnosti prakticky celou refaktorizovali a od té doby je to celkem hezký kus kódu.
Ani po třech měsících stále žádný vývoj směrem k udržení kompatibility modulů Archiver a QA s jádrem. U ostatních modulů žádný vývoj směrem k čemukoliv. Issue tedy zavírám. V případě zájmu o další moduly neváhejte otevřít (ať už tento nebo nový ticket).
jasný... vpohodě. :)
closed
changed milestone to %2
removed milestone
changed milestone to %1
no, jen tak do budoucna: tady https://github.com/OCHA-DAP/hdx-ckan mají fork CKANu a další vlastní pluginy, umístěné patrně v jednotlivých složkách. Jsou to asi nějaké přiohnuté templaty na datasety z humanitární činnosti.
teď pluginy nepotřebuji, ale kdyby někdy došlo k potřebě zvýšit kompatibilitu se site https://data.humdata.org/, tak zde bude alespoň zaznamenán odkaz že to je výhledově v plánu.