Ahoj, nenašel by se tu někdo, kdo by mi doporučil nějakou službu která by měla API (nebo prostě nějak poskytovala strojově zpracovatelná data) pro předpověď počasí dle zadané polohy? Spoléhal jsem na chmi a open data, ale tam jsem příliš úspěšný nebyl. Ty jejich datové sady jsou neskutečný bordel a navíc jsou značně nekompletní a pokud. Potíž je, že bych to potřeboval ideálně zdarma jelikož jde o hobby projekt. Samozřejmě jsem našel několik služeb které nějaký free tarif mají, nicméně logicky omezený na počet volání denně, kdy jsem narazil na maximum 1000 volání. S tím ale souvisí druhá potíž, že aby moje aplikace fungovala, tak jen při spuštění je potřeba zjistit situaci na desítkách míst najednou, v extrémním případě může dojít k situaci, kdy by se získávaly data pro více než 500 míst, takže bych narazil na limit extrémně brzy. Nicméně pokud by někdo znal službu, kde bych v rámci jediného volání mohl dotazovat více míst (ideálně všechny co potřebuji), pak by i těch 1000 volání denně … bylo více než dostatečné.Druhá část je podobná, ale nejde o počasí ale o hydrologická data, tj hladiny toků, jejich průtoky, teplota vody atp. Z tohoto jsem bohužel v open datech našel jsem polohy vodoměrných stanic, ale samotná data už ne (vyjma pouhých 8 stanic která jsou na na opendata.chmi.cz, a ze kterých mě nezajímá ani jedna). Datová sada která potřebná data slibuje, bohužel nestydatě lže, a kromě toho že link nevede na data, ale na hotovou aplikaci kde jsou data již vizualizovaná, tak ani neobsahuje data která slibuje.Ještě doplním, že mi jde výhradně o území ČR. Zkoušel jsem i psát přímo chmi s dotazem ohledně poskytnutí dat (což sami nabízí), ale nikdo se neobtěžoval odpovědět. Při jiném dotazu ohledně kvality oněch open dat jsem byl přesměrován na paní, která se nezmohla na více než aby mě poslala na opendata.gov.cz, přičemž ignorovala že jsem již psal že tam slibovaná data nejsou (nebo v lepším případě jsou nezpracovatelná, což je v rozporu s principem open dat).Za každou radu či nasměrování budu rád. Ukázat celý příspěvek
To známe, napřed hobby projekt, pak se tam objeví reklama a za chvíli polovina funkcí nebude dostupná bez předplatného 😀 Takhle začínala velká spousta skvělých hobby aplikací. Obávám se, že budeš hledat dlouho a marně. Tvorba takových datových sad rozhodně není zdarma, ale vyžaduje velké náklady, tudíž nemůžeš čekat, že ti to někdo dá zdarma a bez omezení. Jediný kdo něco takového pro veřejnost může poskytovat bezplatně, je právě ten CHMI, protože je placen státem. Nicméně tam zase nemůžeš očekávat, že se kvůli tobě přetrhnou a dodají ti to přesně ve formátu, jak by se ti s tím nejlépe pracovalo.
Mno, ta aplikace už mi funguje skoro 10 let, a má všeho všudy 3 uživatele, včetně mě. Asi 6 let byla veřejně dostupná a ano, byla tam reklama, která za tu dobu vygenerovala dechberoucích 202Kč, což samozřejmě nepokrylo ani náklady na doménu, takže jsem ji před 4 lety přesunul na svůj domácí server, reklamu vypnul a pro veřejnost uzavřel, právě z důvodu, abych nemusel řešit její případné financování. Vlastně mě od počátku děsilo, že by se aplikace nějak chytla, jelikož bych velice rychle narazil na limit i u mapového api a z toho by nevyhnutelně plynula i nutnost nějaké monetizace, což je část, která mě skutečně nebaví. Pokud bych chtěl aplikaci zveřejnit s předpovědí počasí, tak ano, naprosto nevyhnutelně by tato funkce musela být zpoplatněná, protože bych na limity free tarifů narazil velice brzy a tyhle služby skutečně uplně nejsou (z pohledu že by si to člověk financoval ze svého).Co se týče formátu dat, tak ačkoli mám favority ve kterých bych měl data nejraději,… v tomto směru se s ohledem na okolnosti klidně přizpůsobím. Ale když v katalogu otevřených dat je uvedeno, že datová sada je ve formátu csv a obsahuje data z vodoměrných stanic, přičemž ale odkaz vede jen na vizualizaci jiné datové sady s informaci o vodoměrných stanicích (která je jinak v pohodě, jelikož je poskytovaná jako geopackage), tak to skutečně není o tom, že by data nebyly ve formátu který chci, ale o tom, že to jsou úplně jiná data než je uvedeno a navíc ve formě, ve které v katalogu vůbec být nemají.Ale díky za rozbor mých motivací. Jen škoda že jsi jako vždy mimo téma. Ukázat celý příspěvek
Mimo téma? Vždyť jsem přesně popsal situaci 🙂 Závěr je ten, že ta data těžko v nějakém pěkném formátu zdarma seženeš.
Jsi mimo téma. Já se ptal na typy, kde taková data sehnat. Zrovna v případě počasí, je těch služeb co poskytují data zdarma hromady, jen mají různé limity. V mém případě jde o to, že čím větší limit, tím lépe.Co se týče hydrologických dat, tak ty má CHMI dle zákona o přístupu k informacím poskytovat, ale mají v tom všem tak neskutečný bordel, že jsem to mohl klidně někde přehlédnout. Předpokládám, že těch 8 vodoměrných stanic co poskytují v 10min intervalech na opendata.chmi.cz požadavky zákona nenaplňuje.Navíc, psal jsem ideálně zdarma. V případě nějaké rozumné (resp z vlastní kapsy utáhnutelné) je to stále téma k zamyšlení. Jestli o něčem víš, tak sem s tím.
1) datové sady ČHMÚ se při troše snahy zpracovat dají, akorát otevřená data samozřejmě nejsou ta ten den aktuální, pokud vím, takže na předpovědi asi vhodná moc nebudou...https://github.com/manmatej/chmu-processhttps://github.com/kalab-oto/chmu-poloha-stanichttps://github.com/juhele/chmu-pr...ather_data2) nastuduj si GRIB a související...https://en.wikipedia.org/wiki/GRIBhttps://nomads.ncep.noaa.govmožnáhttps://github.com/tomchavakis/grib-downloader
Datove sady se zpracovat daji, ale nevim, jak moc budou pro tazatele uzitecna data zverejnena se zpozdenim jednoho az dvou let - to totiz delaji ty skripty/aplikace, na ktere jsi odkazal...
NOAA má nějaké GRIB soubory s předpověďmi, akorát nevím, jaké to má prostorové rozlišení. A u dat ČHMÚ jsem mu psal, že aktuální data otevřená nejsou... Ledaže by historickými daty krmil nějaký svůj model a zkoušel předpovědi v minulosti a pak to porovnal se skutečným počasím z almanachu třeba na wunderground.comTeoreticky by webscrapingem mohl tahat aktuální hodnoty z tabulek na jejich webu - ale to samozřejmě není legální...
Zrovna tady bych si tou legalnosti nebyl uplne jisty, CHMI je statem zrizena organizace a pokud vim, tak ma narizeno data zverejnovat, jen to proste nedela (nechce nebo neumi). Takze pripadny soudni spor by mohl byt celkem zajimavy. Ale nejsem pravnik...
CHMI poskytuje přístup přímo ke svým datům v reálném čase na základě smlouvy. Tedy tak to alespoň píšou na webu a přikládají e-mail kam si má člověk napsat o podrobnosti. Tak jsem si o podrobnosti psal, ale bez odezvy. Tak nevim.Co se týče webscrappingu, tak to už mám zjištěno, že to je v případě dat CHMI v pohodě, mají k tomu na webu i licenci. Jediné omezení tkví ve vágní formulaci, že to "nesmí nepřiměřeně vytěžovat jejich infrastrukturu", což se obávám, že kdybych při spuštění aplikace poslal cca 500 dotazů na počasí a dalších 500 na hydrologická data, tak bych v této podmínce byl minimálně na hraně. (nemluvě o tom, že by to začítání aplikace tak zpomalilo, že by bylo lepší to dělat pravidelně na pozadí rovnou na straně serveru, tož už by asi bylo fakt moc) :-/
taketo veci sa robia na servri. pravidelne stahuje data a tvoja apka si taha od teba, nie priamo zo zdroja.
Ano, já vím. Ale poslat jim třeba každé půl hodiny 1000 požadavků, to by mě moc rádi neměli. Navíc by to v zásadě znamenalo pokaždé scrapnout 1000 stránek, což mi jednak přijde postavené na hlavu z hlediska efektivity (protože bych z těch dat 99 % zahodil) ale hlavně bych se vystavoval riziku, že se chmi rozhodne posunout do současnosti, překopou web a já budu scrapper psát znovu.Ale díky za zmínění toho, co jsem sám napsal :)
pokud se podívám např. na:https://hydro.chmi.cz/hppsoldv/hpps_oplist.phptak dole je stále uvedena licence CC BY-NC-NDhttps://creativecommons.org/licenses/by-nc-nd/3.0/cz/která další zpracování neumožňuje. Než uvolnili historická data, řešil jsem tento problém u nich - tabulky se najít daly, formálně je ale nešlo použít.
Zpracovavat data muzes, jen je pak nesmis dal sirit. 😉
Což je pro tazatele po formální stránce k ničemu když to není jen čistě pro něj...
Na toto mi bylo odpovězeno, že nemůžu ty data postahovat, například zkompletovat do balíku a ten dále distribuovat, nebo nabízet API třetím stranám. Pokud je ale pouze zobrazím nebo jinak vizualizuji, tak za předpokladu uvedení zdroje je to v případě nekomerčních projektů ok.
A nerikal jsi, ze tu aplikaci mas za heslem? Tzn. "nikdo" se k ni nedostane?Tudiz data nesiris a muzes si s nima delat co chces.
Díky, ale to je k ničemu. V první řadě jsou to historická data, která nejsou sebemenší problém a tím skriptem bych se vůbec nezdržoval. To bych si napsal sám podle potřeb, jelikož tato data jsou zrovna zveřejněna v odpovídající kvalitě i formátu.Poloha stanic také není problém, to je zrovna poskytováno jako luxusní balík který není ani nejmenší problém číst. Nicméně sám o sobě je v podstatě k ničemu (tedy alespoň pro mě)GRIB je fajn, jen by to chtělo ty data :)
však jasně, data v GRIB jsou, známý dělá nějaké numerické modelování, sosal to odněkud od NOAA. Ale jak říkám, neznám prostorové rozlišení.
Zkusil bych se zeptat zde: https://www.in-pocasi.cz/Tam by se mohli vyskytovat lidé, co o tom mají větší přehlede, než tady na diskusi o PC.
Strojove zpracovatelna data o pocasi ma wttr.in - ale nevim, jestli ti to nejak pomuze, asi to nebude mit dostatecne rozliseni. Pri poctu 500 dotazu "jen na nastartovani" se nemuzes divit, ze to tezko sezenes zdarma.Co se tyka dat o hladinach toku apod, tak CHMI pravidelne slibuje, ze data otevrene budou za pul roku a data porad verejna nejsou (pokud vim). Ostatne psalo se to i tady: https://www.zive.cz/clanky/tyden-z...fault.aspxJestli ti staci prutoky rek, tak by mozna bylo lepsi zkusit jine ustavy, treba www.pla.cz apod. - maji i aplikace pro mobily, treba budou mit pristupnejsi data nez CHMI.
wttr.in vypadá pro mé potřeby poměrně dostatečně. Díky za tip :)S tím množstvím dotazů jsem zapomněl na podstatnou informaci. Tu aplikaci momentálně používáme 3 lidi, z toho aktivně 1, přičemž aktivně znamená asi tak 4x za měsíc. Takže on ten limit vlastně nijak zvlášť vysoký být nemusí. Ale zase nejčastějších 1000 za den už je málo.Dotazy na jednotlivá povodí mě taky napadly a už mám připravený seznam. Jen jsem na to ještě neměl zrovna čas a stále doufám, že se mi podaří ty data někde vyhrabat, když na každém rohu chmi tvrdí že je poskytuje.
Aha todle vypada na bastlire?Protoze je snad jedno kolik tu tvoji aplikaci pouziva lidi, ty tam nemas nejakou DB, do ktere by jsi data stahoval a zpracovaval. Tzn. staci udelat ten API call jen jednou.To snad nemas, ze to dela API cally na ten externi server s daty, pro kazdeho uzivatele zvlast?
*myslel jsem mit pro tu svoji aplikaci vlastni server a k tomu se uzivatele pripojuji.
Ano, vlastní server mám a ano, kdybych si tam ty data předtahal, tak mi stačí jedno volání toho mého serveru. To ale neřeší problém sběru dat, kdy bych musel pro každou vodoměrnou stanici scrapnout její kartu. Tedy co jedna stanice, to volání. A ne volání API, ale stažení celé stránky. A nechci někomu posílat stovky požadavků a generovat datový tok jen proto, abych v případě, že jednou za čas tu apku použiju měl data k dispozici. Proto bych v případě tohoto vyloženě nouzového řešení tyto informace stahoval až vyloženě v okamžiku potřeby. Ano, asi na straně serveru a pak bych to jen předal do apky, aby se s tím nemusel parsovat JS na straně uživatele.V případě služeb které poskytují pro taková data API (a mimochodem, většina má free tarify), se mi ale zatím nepodařilo najít žádnou, která by v jednom dotazu mohla přijmout požadavek na více lokací. Proto bych pro každou lokaci potřeboval samostatné volání api nezávisle na tom, jestli to volám ze serveru nebo od uživatele.… Pokud víš o službě která dávkový požadavek umí, sem s tím. (momentálně se přikláním k weatherapi.com, kde jsem možnost dávky sice taky zatím nenašel, ale zdarma je možné provést 1000000 volání měsíčně. S tím asi vyjdu v pohodě. Hydrologická data jsou ale horší) Ukázat celý příspěvek
Hostovaly webovy server a chodili jim tam HTTP dotazy! :)Normalne to scrapuj, kdyz tam nebudes solit 1k HTTP requestu za sekundu, ale nejakou normalni rychlost. A navic treba behem noci. Komu to muze vadit?Btw pokud nechteji scrapovani at nahodi normalne pristupne API. Stejna (dementni) mentalita jako od ty expertky co vede(vedla) katastr. Pak si lidi nahostovaly VPS v Cine a cau.
Tak v první řadě, nemůžu to dělat jen během noci, jelikož data jsou potřeba aktuální. K čemu by mi asi tak byla znalost "aktuálního počasí" z předešlé noci?A proč bych se scrapování rád vyhnul už jsem taky psal. Ono, ač si to mnoho lidí zjevně neuvědomuje, tak webscrapping vyžaduje docela dost údržby. Už udržování GMaps API není uplně časově nenáročné, protože ono se docela vyvíjí, a to co fungovalo před 5 lety je dávno depracted a mnohdy už to v API není vůbec. A to tě Google na ty změny upozorňuje předem. O změně designu webu tě nikdo informovat nebude. Prostě ti jen jednoho dne přestane fungovat scrapper. A tomu bych se rád vyhnul.Takže prosím, už to scrapování nechme. Ano, tato možnost tu je, ale říkejme tomu třeba "plán Ž". A než k němu přistoupím, chtěl bych důkladně prověřit A-Z (napsat dotaz sem je asi tak K, a jak vidím, tak tenhle plán byl docela naivní. )
proč se nevykašleš na Google a nehodíš tam OpenStreetmap, případně pokud to umí Leaflet nebo něco podobného, tak dát ortofoto z ČÚZK - mají webové služby, je to pod nějakou CC licencí.
Když jsem to před 10 lety začal psát, tak Google měl jednoznačně nejlépe zdokumentované API. Když jsem to pak po nabrání zkušenostní poprvé přepisoval, chtěl jsem to už postavit na OSM. Nicméně jsem narazil na problém, že jakmile jsem do mapy promítl své vrstvy, tak se ukázalo, že jak tvar tak i poloha řek a jiných prvků v krajině se oproti GMaps o jednotky až desítky metrů liší (a to stejné se ukázalo u Seznam Map). Upravit veškerá data tak aby se kryly s mapou by bylo neuvěřitelně časově náročné. Leaflet nepoužívám. Snažím se frameworkům pokud možno vyhýbat.
Hmm, to je divné - tipnul bych to na špatně nastavenou projekci. Byť teda myslím jak Google, tak OSM používají EPSG:3857 Pseudo Mercator... Ale otázka je, jak to teda servírujou přes API... V mapových datech problém není - když to načtu do GISu, sedí to přes sebe dobře.
On ten problém byl většinou vidět až při maximálním přiblížení (což je bohužel přiblížení které potřebuji). Ale nebylo to tak, že by všechno bylo ujeté. Jednalo se spíše o konkrétní úseky. A jelikož šlo povětšinou o úseky v lesích které na fotomoapách nejsou pořádně vidět, tak jsem si říkal jestli to nemůže být způsobeno čistě tím, že to z těch snímků zkrátka nešlo uplně přesně zaměřit. Ale nevim, neřešim. Na gmaps už jsem si zvykl, a jelikož s tím nemám žádné velké plány, tak už to asi nechám tak. Třeba když mě napadne jiná mapová hovadina, tak to zkusím s OSM.
Aha, zdarma a běda jestli to nebude to co chci.
Tak kdyby mi stačila data co nechci, tak můžu použít windy (které bych patrně použil, kdybych plánoval komerční aplikaci, a měl bych tak data z čeho platit a během vývoje mi stačily "dummy data"). Ten zdarma vrací náhodná data. Ale když chci do apky promítnout aktuální počasí a nějakou krátkodobou předpověď, tak mi to moc nepomůže. Nějak nechápu, proč si tu tak honíte triko.API pro počasí je hromady, a hromady jsou jich zdarma. Jen ty hromady jsou tak obrovské, že prohrabat se tím je dost časově náročné. Tak se tedy omlouvám že jsem si dovolil se zeptat, jestli už někdo něco podobného neřešil a nemá nějaký tip.
https://isvs.chmi.cz/ords/f?p=11002...EQ:%5C4%5C>Data ke stazeni.Vyzobej si to. Co je za problem?
Že to jsou historická data. To je asi ten nejzásadnější problém.
Dobrý den,máte tedy zájem o data, která jsou na https://isvs.chmi.cz/ords/f, ale aktuální, ne historická. Data k vybraným stanicím dostupná v datové sadě "Naměřená hydrologická data – now" pro vás nejsou dostačující. Chápu to správně?Zkusím zjistit, jestli se na tato data vztahuje některá ze zákonných povinností, nebo je ČHMÚ plánuje zveřejnit v budoucnu v rámci plánované Národní databáze hydrometeorologických údajů a produktů.Katalogizace vizualizace je samozřejmě špatně, děkuji za upozornění.Správce Národního katalogu otevřených dat
Dobrý den, a děkuji za ochotu.Data která hledám jsou vlastně přesně ta, která jsou datové sadě "Naměřená hydrologická data – now". Jen bych potřeboval vodoměrné stanice zejména v Jihomoravském, Zlínském a Olomouckém kraji, v ideálním případě všechny. Ve zmíněné datové sadě je však jen 8 vybraných stanic.Data která bych potřeboval z https://isvs.chmi.cz/ords/f nejsou problém. Ta jsou dostupná v NOKD dostupná jako geopackage.
Dobrý den, trvalo to, ale zjistila jsem pár informací. S vašim problémem asi aktuálně nepomůžou, ale možná budou užitečné do budoucna...ČHMÚ aktuálně zveřejňuje ve formátu otevřených dat jen zmíněných 8 stanic, které souvisí s plavbou, protože to tak požaduje legislativa. K rozšíření počtu měření z hydrologických stanic ČHMÚ ve formátu OD by mělo dojít snad již v průběhu podzimu 2024, nejpozději po nabytí účinnosti Zákona o veřejné hydrometeorologické službě na počátku 2025. Prioritou v publikaci jsou teď prý nejvíce žádané informace (podrobnosti neznám), další data budou přibývat pak. Pořád můžete využít službu dodání dat dle požadavku odběratele, ta je však za úplatu a předpokládám, že pro vás nezajímavá. V případě, že bychom mohli ještě zjistit nějaké informace týkající se OD, klidně piště na otevrenadata@dia.gov.cz.
Proc ta webova aplikace na chmi.cz je takovy behemot?Paneboze, kazda akce vraci response v radech MB !Oracle DB, to je primo query na nejakou jejich sluzbu?Sileny, pritom takovych par dat. Je to pomale jak blazen.Todle by chtelo cele prepsat, nebo optimalizovat na stavajici technologii.Nebo at daji vsechny data ven ale naprosto vsechny a lidi jim to udelaji OSS. Jen to nahostovat. Omg.
Léta používám Open-Meteo https://open-meteo.com/en/docsJe zdarma pro nekomerční použití. Má spoustu dostupných předpovědních modelů (lze je kombinovat do jednoho extrapolovaného výstupu nebo je používat jednotlivě - super je třeba německý DWD s přesností 2 km pro střední Evropu), je zde spousta dostupných hodnot a údajů o počasí.
Netusim, jak moc je to jeste pro tebe relevantni, ale ted jsem narazil na tohle: https://open-data-chmi.hub.arcgis.com/
Teď jsem potřeboval počasí do ERP a můžu Vám to bohužel potvrdit. Maximálně 1000 dotazů denně a ČHMI zcela nezájem, ale aspoň mi odpověděli, že API pro aktuální data “neplánují”. Sice bych to u příspěvkové organizace čekal, ale co už.
Potvrďte prosím přezdívku, kterou jsme náhodně vygenerovali, nebo si zvolte jinou. Zajistí, že váš profil bude unikátní.
Tato přezdívka je už obsazená, zvolte prosím jinou.