dane z noaa
Wojtek
dane synoptyczne dla tacji w Bartoszowie (12415). Doszukałem się w
necie, że część danych jest w formacie ISH. I tu mam pytanie, gdzie
mogę znaleźć informacje potrzebne do rozkodowania tych depesz lub
przekonwertowania ich na bardziej zrozumiały format?
Mateusz.R
> Ostatnio ściągnąłem ze stronyhttp://www1.ncdc.noaa.gov/pub/data/noaa/
Jak dokładnie popatrzysz to zobaczysz ukryte synopy:
AAXX 02211 12497 42970 11102 10217 20175 39928 40137 58001 80001;
(to dla Włodawy).
Mateusz
Michal Jankowski
> Ostatnio ściągnąłem ze strony http://www1.ncdc.noaa.gov/pub/data/noaa/
Kiedys dawno temu sciagalem cos z tej strony, ale od lat mam '403
forbidden'. Komus to dziala?
MJ
Boguś
> Ostatnio ściągnąłem ze strony http://www1.ncdc.noaa.gov/pub/data/noaa/
> dane synoptyczne dla tacji w Bartoszowie (12415). Doszukałem się w
> necie, że część danych jest w formacie ISH.
dane synoptyczne są tutaj
http://www1.ncdc.noaa.gov/pub/data/gsod/
zapis jawny bez potrzeby dekodowania
--
Boguś
Wojtek
wyświetla się błąd 403 ale po kilkukrotnym odświeżeniu, zaskakuje.
Kolejne podstrony także się ładują czasem za pierwszym razem czasem za
trzecim. Generalnie trzeba mieć sporo cierpliwości.
Jak wybrałem archiwum np. z 1980r., to nie ma w nim synop w obecnym
formacie, tylko w ISH.
A co do strony http://www1.ncdc.noaa.gov/pub/data/gsod/ to są w niej
zbiorcze dane z kilku obserwacji z danego dnia, a tu
http://www1.ncdc.noaa.gov/pub/data/noaa/ są zapisane synopy z
konkretnych godzin (np. dla Bartoszowa są nawet co godzinę).
Boguś
> Strona http://www1.ncdc.noaa.gov/pub/data/noaa/ działa. Co prawda
> wyświetla się błąd 403 ale po kilkukrotnym odświeżeniu, zaskakuje.
> Kolejne podstrony także się ładują czasem za pierwszym razem czasem za
> trzecim. Generalnie trzeba mieć sporo cierpliwości.
Masz całkowitą rację. Trzeba mieć świętą cierpliwość ;)
Jeżeli chcielibyśmy sciągnąć nieco więcej danych np dla kilku stacji i większej ilości lat to ręczne ściąganie
to syzyfowa praca a ściąganie skryptem wysiada.
>
> Jak wybrałem archiwum np. z 1980r., to nie ma w nim synop w obecnym
> formacie, tylko w ISH.
dane dla Legnicy ( 12415 !) w 1980 są dziurawe jak ser szwajcarski
>
> A co do strony http://www1.ncdc.noaa.gov/pub/data/gsod/ to są w niej
> zbiorcze dane z kilku obserwacji z danego dnia, a tu
z co najmniej 4 obserwacji i dlatego dla Legnicy jest tylko 148 dni w 1980 r
> http://www1.ncdc.noaa.gov/pub/data/noaa/ są zapisane synopy z
> konkretnych godzin (np. dla Bartoszowa są nawet co godzinę).
trochę przesadziłeś.
Dla Legnicy w 1980 przykładowo są dane :
010100, 010109, 010112, 010115, 010121,
010206, 010209, 010212,
010300, 010303, 010306, 010315, 010318,
010409, 010412, 010415,
010509,
i dlatego w gsod są wyniki tylko dla 0101 i 0103
Późniejsze dane np 2000-2005 są co godzinę, ale już od od lutego 2006 co 3 godziny
Wracając do twojego początkowego pytania to nie wiem jak się dekoduje takie coś
0108124150999991980010100004+51217+016167FM-12+012299999V0202601N00301015001CN0080001N9+00101+00001100141ADDAA106999929AG10001AY111999GF108991061051017501071999MD1610031+9999MW1711REMSYN005797//EQDQ01
99993PRCP99
Jeżeli znajdziesz (wiem sam o to pytasz) opis tego dekodowania to daj znać
--
Boguś
Boguś
> Wracając do twojego początkowego pytania to nie wiem jak się dekoduje
> takie coś
> 0108124150999991980010100004+51217+016167FM-12+012299999V0202601N00301015001CN0080001N9+00101+00001100141ADDAA106999929AG10001AY111999GF108991061051017501071999MD1610031+9999MW1711REMSYN005797//EQDQ01
> 99993PRCP99
>
> Jeżeli znajdziesz (wiem sam o to pytasz) opis tego dekodowania to daj znać
Odpowiem sam:
ISH - Integrated Surface Data
Opis tutaj
http://www1.ncdc.noaa.gov/pub/data/noaa/ish-format-document.pdf
(te same problemy co z innymi danymi - ja przez 5 minut klikałem aż udało się ściągnąć)
temperatura poz 88-92
ciśnienie poz 94-99 itd, łatwe jak drut
większe kłopoty pojawiają się gdy chcemy dekodować wszystko.
--
Boguś
PS. Wszelkie znaki na niebie wskazują, że kartoteka dane/noaa jest kartoteką niejawną!. Może to błąd
programisty bo w pdf-ie podają te właśnie adresy do ściągania danych.
PiotrD
> Użytkownik Wojtek napisał:
> > Strona http://www1.ncdc.noaa.gov/pub/data/noaa/ działa. Co prawda
> > wyświetla się błąd 403 ale po kilkukrotnym odświeżeniu, zaskakuje.
> > Kolejne podstrony także się ładują czasem za pierwszym razem czasem za
> > trzecim. Generalnie trzeba mieć sporo cierpliwości.
> Masz całkowitą rację. Trzeba mieć świętą cierpliwość ;)
> Jeżeli chcielibyśmy sciągnąć nieco więcej danych np dla kilku stacji i
większej ilości lat to ręczne ściąganie
> to syzyfowa praca a ściąganie skryptem wysiada.
Nie wysiada.
Można jakoś tak:
#!/bin/bash
SPR=1
while [ $SPR = 1 ]
do
wget <adres> -o log
ERR=`cat log | grep 403`
if [ "$ERR" = "" ]
then
SPR=0
fi
done
--
Wyslano z Jastarni
http://augustyna.pl/news
Boguś
>> a ściąganie skryptem wysiada.
>
> Nie wysiada.
> Można jakoś tak:
>
> #!/bin/bash
> SPR=1
> while [ $SPR = 1 ]
> do
> wget<adres> -o log
> ERR=`cat log | grep 403`
> if [ "$ERR" = "" ]
> then
> SPR=0
> fi
> done
OK. Gdzieś tam mam ubuntu, jak będę miał trochę czasu to sprawdzę.
Myślę, że trzeba jeszcze dodać jakieś opóźnienie czasowe bo się mogą zdenerwować ;)
Znalazłem przyczynę kłopotów ściągania danych z noaa:
"All online data are now free for all .gov, .edu, .k12, .mil, .us, and a few other specific domains."
Czyli to raczej przypadek, że udaje się od czasu do czasu coś ściągnąć. A szkoda bo format danych wbrew
pozorom jest bardzo prosty. Pozostaje więc OGIMET.
--
Boguś