Spotter-Cluster/sahana-eden
2
0
Fork 0
Code Issues 18 Pull Requests Actions Packages Projects Releases Wiki Activity

Nasazení SE na trendspotter.cz od 8.3.2022 #1

New Issue
Open
opened 2022-03-09 12:44:37 +01:00 by Podhorecky · 12 comments
Podhorecky commented 2022-03-09 12:44:37 +01:00 (Migrated from git.spotter.cz)
Copy Link

Zatím budu syslit objevy, nemusí být hned řešeny. Až toho bude víc, posoudíme naléhavost.

  1. nasazení přesné kopie nového kontejneru na https://se.spotter.ngo (z důvodů syncování DB - v dokumentaci říkají že by to mělo být stejné

  2. Zálohování - dobrá zpráva: tohle by se mělo nastavit komplet přes Sahanu, takže není nutné na to vymýšlet vlastní scripty.
    akorát tam jsou věci s kterými budu potřebovat pomoc, např. proxy server , to nevím přesně. Návod k nastavení. V možnostech zálohování je nastavení více jobů, které zálohují v různých cyklech konkrétní DB tabulky. to mi přijde mazané. představuji si to asi takto: se.spotter.ngo ---> se.trendspotter.cz <---> záloha DB na hetznerovi

  3. objevila se známá věc s českými fonty
    Výstřižek

  4. pokud se mi podaří revidovat překlad CZ tak zkopíruju soubor a udělám automatický překlad do Ukrajinštiny na Google Translate. To zkusíme nasadit, ale kontrolu přesnosti už nedokážu, předpkládám že to bude přesnější než z angličtiny. S ukrajinou jde ještě rozšířit použití měn na Hřivny UAH. Další lokalizace nemá cenu teď řešit. Jsou to vě+ci které by mělo jít přidat jako uživatelská data. Například skill překladatelství do UA nebo územní členění.

  5. import veřejné URL adresy loga z XLS tabulky nefunguje. Nehavaruje sice, ale taky se neprovede. A to jak při importu do kořenového adresáře Organizations, tak ani v případě, kdy je Organizace v tabulce pod sloupcem Branch. V rámci formuláře by tam ta možnost přidat logo byla, ale importem to nejde a Parse se neobtěžuje říct, že logo nebude importováno. Hlášeno už dříve

Zatím budu syslit objevy, nemusí být hned řešeny. Až toho bude víc, posoudíme naléhavost. 1) nasazení přesné kopie nového kontejneru na https://se.spotter.ngo (z důvodů syncování DB - v dokumentaci říkají že by to mělo být stejné 2) Zálohování - dobrá zpráva: tohle by se mělo nastavit komplet přes Sahanu, takže není nutné na to vymýšlet vlastní scripty. akorát tam jsou věci s kterými budu potřebovat pomoc, např. proxy server , to nevím přesně. [Návod k nastavení](https://eden.sahanafoundation.org/wiki/UserGuidelines/Admin/Synchronization#SynchronizationHomepage). V možnostech zálohování je nastavení více jobů, které zálohují v různých cyklech konkrétní DB tabulky. to mi přijde mazané. představuji si to asi takto: **se.spotter.ngo ---> se.trendspotter.cz <---> záloha DB na hetznerovi** 3) objevila se známá věc s českými fonty ![Výstřižek](/uploads/55a84d6083227efd871efdb551923ef0/Výstřižek.PNG) 4) pokud se mi podaří revidovat překlad CZ tak zkopíruju soubor a udělám automatický překlad do Ukrajinštiny na Google Translate. To zkusíme nasadit, ale kontrolu přesnosti už nedokážu, předpkládám že to bude přesnější než z angličtiny. S ukrajinou jde ještě rozšířit použití měn na **Hřivny UAH**. Další lokalizace nemá cenu teď řešit. Jsou to vě+ci které by mělo jít přidat jako uživatelská data. Například skill překladatelství do UA nebo územní členění. 5) **import veřejné URL adresy loga z XLS tabulky nefunguje**. Nehavaruje sice, ale taky se neprovede. A to jak při importu do kořenového adresáře Organizations, tak ani v případě, kdy je Organizace v tabulce pod sloupcem Branch. V rámci formuláře by tam ta možnost přidat logo byla, ale importem to nejde a Parse se neobtěžuje říct, že logo nebude importováno. Hlášeno už [dříve](https://git.spotter.cz/Spotter-Cluster/Spotter-VM/-/issues/511)
Podhorecky commented 2022-03-09 20:44:42 +01:00 (Migrated from git.spotter.cz)
Copy Link

changed the description

changed the description
Podhorecky commented 2022-03-13 12:11:47 +01:00 (Migrated from git.spotter.cz)
Copy Link

changed the description

changed the description
Podhorecky commented 2022-03-13 12:12:14 +01:00 (Migrated from git.spotter.cz)
Copy Link

changed the description

changed the description
Podhorecky commented 2022-03-13 12:15:38 +01:00 (Migrated from git.spotter.cz)
Copy Link

changed the description

changed the description
Podhorecky commented 2022-03-13 12:15:54 +01:00 (Migrated from git.spotter.cz)
Copy Link

changed the description

changed the description
Podhorecky commented 2022-03-13 12:34:53 +01:00 (Migrated from git.spotter.cz)
Copy Link

changed the description

changed the description
Podhorecky commented 2022-03-15 18:29:23 +01:00 (Migrated from git.spotter.cz)
Copy Link

changed the description

changed the description
Podhorecky commented 2022-03-19 23:33:46 +01:00 (Migrated from git.spotter.cz)
Copy Link
  • vytvořil jsem překlad do UA a nahrál do masteru.
  • vytvořil jsem branch jp_config a v něm se opatrně pokouším editovat config soubory: doplnění UA, změna fontu pro PDF, doplnění měn, zapnutí nějakých (doufám nehavarujících) nastavení atd.
  • přeložil jsem některé další csv ve složce templates které nebyly přeloženy ani v rozhraní. Zatim bych rád zkusil jak se to projeví v rozhraní.

Další postup bych rád tento:

  • sestavit EDEN a nově i SAMBRO s tím, že tam bude fix těch nezobrazených formulářů v modulech a načtené oba nové jazyky s opravami
  • sestavení zkusit s configy z jp_config branche, ale za nic neručim, pokud to nepujde, tak vypnout to co havaruje.
  • pokusím se pak z rozhraní vyexportovat nově opravené jazyky a tím v exportu uvidím, které řetězce to nesežralo, například z důvodů chyby v importovaném souboru
  • doplním nebo opravím znova řetězce překladu
  • překlad UA pravděpodobně pošlu do GitHubu, ať je k dispozici, potřeboval by zkontrolovat ukrajincem, protože strojový překlad je někdy nekonzistentní.

Co nevím:

  • pro nastavení twitter api je potřeba nějakou cizí komponentu tweepy. Netuším zda je instalovaný
  • jak se to dál bude chovat, znovu budu zkoušet pracovat s rozhraním.
- vytvořil jsem překlad do UA a nahrál do masteru. - vytvořil jsem branch jp_config a v něm se opatrně pokouším editovat config soubory: doplnění UA, změna fontu pro PDF, doplnění měn, zapnutí nějakých (doufám nehavarujících) nastavení atd. - přeložil jsem některé další csv ve složce [templates](https://git.spotter.cz/Spotter-Cluster/sahana-eden/-/tree/master/sahana-spotter/image.d/srv/web2py/applications/eden/modules/templates/Spotter) které nebyly přeloženy ani v rozhraní. Zatim bych rád zkusil jak se to projeví v rozhraní. Další postup bych rád tento: - sestavit EDEN a nově i SAMBRO s tím, že tam bude fix těch nezobrazených formulářů v modulech a načtené oba nové jazyky s opravami - sestavení zkusit s configy z jp_config branche, ale za nic neručim, pokud to nepujde, tak vypnout to co havaruje. - pokusím se pak z rozhraní vyexportovat nově opravené jazyky a tím v exportu uvidím, které řetězce to nesežralo, například z důvodů chyby v importovaném souboru - doplním nebo opravím znova řetězce překladu - překlad UA pravděpodobně pošlu do GitHubu, ať je k dispozici, potřeboval by zkontrolovat ukrajincem, protože strojový překlad je někdy nekonzistentní. Co nevím: - pro nastavení twitter api je potřeba nějakou cizí komponentu tweepy. Netuším zda je instalovaný - jak se to dál bude chovat, znovu budu zkoušet pracovat s rozhraním.
Podhorecky commented 2022-03-20 09:08:22 +01:00 (Migrated from git.spotter.cz)
Copy Link

@Disassembler mohl byste se prosím podívat na to nové sestavení ? Je to hodně práce?

ještě tu mám dotaz: V tomhle souboru https://github.com/sahana/eden/blob/master/static/formats/s3csv/org/organisation.xsl

je vyblokovaný kód:
<!-- <xsl:attribute name="filename"> <xsl:call-template name="substringAfterLast"> <xsl:with-param name="input" select="$logo"/> <xsl:with-param name="sep" select="'/'"/> </xsl:call-template> </xsl:attribute>-->

há nevim co měl, nebo neměl dělat, jde mi o ten nefungující import log z URL adres. Nevím jestli jsem našel zrovna tu příčinu, jen náhodně hledám.

@Disassembler mohl byste se prosím podívat na to nové sestavení ? Je to hodně práce? ještě tu mám dotaz: V tomhle souboru https://github.com/sahana/eden/blob/master/static/formats/s3csv/org/organisation.xsl je vyblokovaný kód: `<!-- <xsl:attribute name="filename"> <xsl:call-template name="substringAfterLast"> <xsl:with-param name="input" select="$logo"/> <xsl:with-param name="sep" select="'/'"/> </xsl:call-template> </xsl:attribute>-->` há nevim co měl, nebo neměl dělat, jde mi o ten nefungující import log z URL adres. Nevím jestli jsem našel zrovna tu příčinu, jen náhodně hledám.
Disassembler commented 2022-03-20 09:56:25 +01:00 (Migrated from git.spotter.cz)
Copy Link

Zálohování - dobrá zpráva: tohle by se mělo nastavit komplet přes Sahanu...

To není zálohování, to je synchronizace. Ta bude jednak celkem určitě očekávat, že obě instance jsou totožné a jednak to stále neřeší problém zálohování, takže nějaké skripty budou potřeba tak jako tak. Nicméně dump databáze je otázka jednoho příkazu a persistentní data jsou ve společném adresáři mimo kontejner, takže ve workflow současného zálohování se v zásadě nic nemění.

Synchronizaci jsme nikdy neprozkoumávali, takže očekávám celou novou třídu nejrůznějších problémů s ní spojených.

objevila se známá věc s českými fonty

Hm, jenže image už ten fix, který nám na to předtím fungoval, obsahuje. Muselo se to dělat tak, že se DejaVu font podstrčil pod názvem Helvetica, protože sice existuje konfigurace fontů pro použití v PDF, ale kód, který ta PDF generuje, tu konfiguraci na některých místech ignouje a natvrdo se pokouší použít tu Helveticu. No kouknu na to.

import veřejné URL adresy loga z XLS tabulky nefunguje

Ten zakomentovaný kód vypadá, že řeší pouze lokální umístění (soubory na disku) a že import z URL by měl fungovat i nadále. Zkusím zjistit, proč se to neděje.

Další postup bych rád tento:

  • sestavit EDEN a nově i SAMBRO s tím, že tam bude fix těch nezobrazených formulářů v modulech a načtené oba nové jazyky s opravami

To by ty formuláře nejprve musel někdo opravit. Zbytek je nicméně proveditelný i v současné podobě.

pro nastavení twitter api je potřeba nějakou cizí komponentu tweepy. Netuším zda je instalovaný

Ano, je. Pokouší se Sahana tvrdit, že není?

> Zálohování - dobrá zpráva: tohle by se mělo nastavit komplet přes Sahanu... To není zálohování, to je synchronizace. Ta bude jednak celkem určitě očekávat, že obě instance jsou totožné a jednak to stále neřeší problém zálohování, takže nějaké skripty budou potřeba tak jako tak. Nicméně dump databáze je otázka jednoho příkazu a persistentní data jsou ve společném adresáři mimo kontejner, takže ve workflow současného zálohování se v zásadě nic nemění. Synchronizaci jsme nikdy neprozkoumávali, takže očekávám celou novou třídu nejrůznějších problémů s ní spojených. > objevila se známá věc s českými fonty Hm, jenže image už ten fix, který nám na to předtím fungoval, obsahuje. Muselo se to dělat tak, že se DejaVu font podstrčil pod názvem Helvetica, protože sice existuje konfigurace fontů pro použití v PDF, ale kód, který ta PDF generuje, tu konfiguraci na některých místech ignouje a natvrdo se pokouší použít tu Helveticu. No kouknu na to. > import veřejné URL adresy loga z XLS tabulky nefunguje Ten zakomentovaný kód vypadá, že řeší pouze lokální umístění (soubory na disku) a že import z URL by měl fungovat i nadále. Zkusím zjistit, proč se to neděje. > Další postup bych rád tento: > - sestavit EDEN a nově i SAMBRO s tím, že tam bude fix těch nezobrazených formulářů v modulech a načtené oba nové jazyky s opravami To by ty formuláře nejprve musel někdo opravit. Zbytek je nicméně proveditelný i v současné podobě. > pro nastavení twitter api je potřeba nějakou cizí komponentu tweepy. Netuším zda je instalovaný Ano, je. Pokouší se Sahana tvrdit, že není?
Podhorecky commented 2022-03-20 10:09:20 +01:00 (Migrated from git.spotter.cz)
Copy Link

ok, díky...

Ano, je. Pokouší se Sahana tvrdit, že není?

já nevím jak to zjistit jen jsem na to narazil a v tomto sestavení o tweepy neni nic napsáno, takže jsem si nebyl jist.

ok, díky... > Ano, je. Pokouší se Sahana tvrdit, že není? já nevím jak to zjistit jen jsem na to narazil a [v tomto sestavení](https://se.trendspotter.cz/eden/default/about) o tweepy neni nic napsáno, takže jsem si nebyl jist.
Disassembler commented 2022-03-21 16:21:48 +01:00 (Migrated from git.spotter.cz)
Copy Link

Instalujeme všechny komponenty, resp. python moduly, o kterých Sahana tvrdí, že je umí nějakém způsobem použít a které jsou definovány v requirements.txt a optional_requirements.txt. Přeskakujeme pouze následující (kopíruji poznámku přímo z našeho kódu pro sestavení image):

    #  - boto, boto3 - Needed for setup on AWS
    #  - PyRTF - Ceased to exist
    #  - openstacksdk - Needed for setup on OpenStack

V image, který v současné chvíli jede na se.trendspotter.cz se nacházení následující python moduly

/ # pip list
Package                  Version
------------------------ -----------
ansible                  4.8.0
ansible-core             2.11.6
appdirs                  1.4.4
asn1crypto               1.4.0
async-generator          1.10
attrs                    21.4.0
bcrypt                   3.2.0
CacheControl             0.12.10
cachetools               5.0.0
certifi                  2020.12.5
cffi                     1.14.5
charset-normalizer       2.0.7
colorama                 0.4.4
contextlib2              21.6.0
cryptography             36.0.1
cycler                   0.11.0
distlib                  0.3.3
distro                   1.6.0
dnspython                2.2.1
et-xmlfile               1.1.0
feedparser               6.0.8
fonttools                4.30.0
GDAL                     3.4.1
geographiclib            1.52
geopy                    2.2.0
google-api-core          2.7.1
google-api-python-client 2.40.0
google-auth              2.6.0
google-auth-httplib2     0.1.0
googleapis-common-protos 1.55.0
h11                      0.13.0
html5lib                 1.1
httplib2                 0.20.4
idna                     3.3
Jinja2                   3.0.1
kiwisolver               1.3.2
lockfile                 0.12.2
lxml                     4.6.5
MarkupSafe               2.0.1
matplotlib               3.5.1
msgpack                  1.0.2
numpy                    1.21.4
oauthlib                 3.2.0
olefile                  0.46
openpyxl                 3.0.9
ordered-set              4.0.2
outcome                  1.1.0
packaging                20.9
paramiko                 2.7.2
pep517                   0.12.0
Pillow                   8.4.0
pip                      20.3.4
progress                 1.6
protobuf                 3.19.4
psycopg2                 2.8.6
pyasn1                   0.4.8
pyasn1-modules           0.2.8
pycparser                2.20
PyNaCl                   1.4.0
pyOpenSSL                22.0.0
pyparsing                2.4.7
pyserial                 3.5
PySocks                  1.7.1
pyth                     0.6.0
python-dateutil          2.8.2
PyYAML                   5.4.1
reportlab                3.6.8
requests                 2.27.1
requests-oauthlib        1.3.1
resolvelib               0.5.4
retrying                 1.3.3
rsa                      4.8
selenium                 4.1.3
setuptools               52.0.0
sgmllib3k                1.0.0
Shapely                  1.8.1.post1
six                      1.16.0
sniffio                  1.2.0
sortedcontainers         2.4.0
sunburnt                 0.6
toml                     0.10.2
tomli                    1.2.2
translate-toolkit        3.6.0
trio                     0.20.0
trio-websocket           0.9.2
tweepy                   4.6.0
TwitterSearch            1.0.2
uritemplate              4.1.1
urllib3                  1.26.7
webencodings             0.5.1
wheel                    0.36.2
wsproto                  1.1.0
xlrd                     2.0.1
xlwt                     1.3.0

Pokud by Sahana tvrdila, že nějaký modul není nainstalován i přesto, že se vyskytuje v tomto seznamu, nejspíše očekává o mnoho starší verzi, která už není nadále kompatibilní. To se dá vyřešit nalezením a "přišpendlením" nejstarší kompatibilní verze a ideálně i následným vytvořením PR do upstreamu, který nastaví omezení verze v příslušném requirements souboru.

Instalujeme všechny komponenty, resp. python moduly, o kterých Sahana tvrdí, že je umí nějakém způsobem použít a které jsou definovány v requirements.txt a optional_requirements.txt. Přeskakujeme pouze následující (kopíruji poznámku přímo z našeho kódu pro sestavení image): ``` # - boto, boto3 - Needed for setup on AWS # - PyRTF - Ceased to exist # - openstacksdk - Needed for setup on OpenStack ``` V image, který v současné chvíli jede na se.trendspotter.cz se nacházení následující python moduly ``` / # pip list Package Version ------------------------ ----------- ansible 4.8.0 ansible-core 2.11.6 appdirs 1.4.4 asn1crypto 1.4.0 async-generator 1.10 attrs 21.4.0 bcrypt 3.2.0 CacheControl 0.12.10 cachetools 5.0.0 certifi 2020.12.5 cffi 1.14.5 charset-normalizer 2.0.7 colorama 0.4.4 contextlib2 21.6.0 cryptography 36.0.1 cycler 0.11.0 distlib 0.3.3 distro 1.6.0 dnspython 2.2.1 et-xmlfile 1.1.0 feedparser 6.0.8 fonttools 4.30.0 GDAL 3.4.1 geographiclib 1.52 geopy 2.2.0 google-api-core 2.7.1 google-api-python-client 2.40.0 google-auth 2.6.0 google-auth-httplib2 0.1.0 googleapis-common-protos 1.55.0 h11 0.13.0 html5lib 1.1 httplib2 0.20.4 idna 3.3 Jinja2 3.0.1 kiwisolver 1.3.2 lockfile 0.12.2 lxml 4.6.5 MarkupSafe 2.0.1 matplotlib 3.5.1 msgpack 1.0.2 numpy 1.21.4 oauthlib 3.2.0 olefile 0.46 openpyxl 3.0.9 ordered-set 4.0.2 outcome 1.1.0 packaging 20.9 paramiko 2.7.2 pep517 0.12.0 Pillow 8.4.0 pip 20.3.4 progress 1.6 protobuf 3.19.4 psycopg2 2.8.6 pyasn1 0.4.8 pyasn1-modules 0.2.8 pycparser 2.20 PyNaCl 1.4.0 pyOpenSSL 22.0.0 pyparsing 2.4.7 pyserial 3.5 PySocks 1.7.1 pyth 0.6.0 python-dateutil 2.8.2 PyYAML 5.4.1 reportlab 3.6.8 requests 2.27.1 requests-oauthlib 1.3.1 resolvelib 0.5.4 retrying 1.3.3 rsa 4.8 selenium 4.1.3 setuptools 52.0.0 sgmllib3k 1.0.0 Shapely 1.8.1.post1 six 1.16.0 sniffio 1.2.0 sortedcontainers 2.4.0 sunburnt 0.6 toml 0.10.2 tomli 1.2.2 translate-toolkit 3.6.0 trio 0.20.0 trio-websocket 0.9.2 tweepy 4.6.0 TwitterSearch 1.0.2 uritemplate 4.1.1 urllib3 1.26.7 webencodings 0.5.1 wheel 0.36.2 wsproto 1.1.0 xlrd 2.0.1 xlwt 1.3.0 ``` Pokud by Sahana tvrdila, že nějaký modul není nainstalován i přesto, že se vyskytuje v tomto seznamu, nejspíše očekává o mnoho starší verzi, která už není nadále kompatibilní. To se dá vyřešit nalezením a "přišpendlením" nejstarší kompatibilní verze a ideálně i následným vytvořením PR do upstreamu, který nastaví omezení verze v příslušném requirements souboru.
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
critical

High priority issue requiring immediate action

  
CZ

   
documentation

Needs clarification in documentation

  
Doing

   
enhancement

Feature addition or modification

  
GMaps

   
info

   
Mapbox

   
needinfo

Additional details required

  
new-app

Suggestion for new application

  
OSM

   
performance

Affects resource utilization

  
QGIS

   
regression

Feature which previously worked but has been recently broken

  
suggestion

Proposition of implementation or issue resolution

  
To Do

   
upstream

Dependent on resolution by 3rd party

No Label
critical
CZ
documentation
Doing
enhancement
GMaps
info
Mapbox
needinfo
new-app
OSM
performance
QGIS
regression
suggestion
To Do
upstream
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: Spotter-Cluster/sahana-eden#1
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?