Re: [Talk-ee] (OSM) Küsimus Verbatiumi hooneimpordi teemal

32 views
Skip to first unread message

Margus Värton

unread,
Apr 15, 2021, 7:34:39 AM4/15/21
to Kalle Johannes Reinmets, OpenStreetMap Estonia
Hoi,

Verbatiumi andmete allikas on olnud segane ning nendel aladel, kus mina hooneid sisestada toksisin, oli minu metoodika lihtne - Verbatium minema ja uued hooned peale, koos aadressiinfoga. Selleks oli SviMik-ul väga tore JOSMi plugin olemas. Osm.svimik.com on jälle püsti ning midagi ta näitab, aga kas see tähendab seda, et aadressibaasi jälle uuendatakse, vot seda ma küll ei tea. Tunnistan, et seoses aktiivse mere-eluga olen maismaakaartidest kuidagi eemale jäänud :).

Kui Verbatiumi andmed on Maa-ameti aluskaardilt vektoriseeritud, siis ma nende õigusliku korrektsuse pärast väga ei põeks, küll aga võiks Svimik'u saidile teha ühe mõõdupuu juurde - Verbatiumi andmete ülekirjutamise oma. Aktiivsest baasist peaks need välja saama küll.


Verbatiumiga otse ei ole vist tõesti keegi edukalt suhelnud.

M.

Kontakt Kalle Johannes Reinmets (<kre...@taltech.ee>) kirjutas kuupäeval K, 14. aprill 2021 kell 13:22:

Tere,

 

See konkreetne kiri on Talk-ees ka ilusti olemas, Bartosz Fabianowski kommentaar Tallinna bussipeatuste teemal. Tänu temale ja ta Päästameti viitele ma tegelikult Maa-ameti suunas hakkasingi uurima.

Hetkel kõrvutan ma vanu Maa-ameti säilinud Verbatiumi hoonetega ( https://overpass-turbo.eu/s/166V) ja ma ei saa aru. Mõni nihe, nagu Mereranna tee 16 Haabneemes on äravahetamiseni sarnane põhikaardiga, aga sealsamas kõrval on Idapõllu tee ja Heldri põik, kus põhikaardi ja OSMi sarnasus ei klapi. Kas kuskil võis olla 2008. aasta põhikaart, mida ajalooliste kaartide rakendusse ei ole lisatud?

Iseenesest WMS+OCR+OSM töötlemine sagedusega 1 hoone sekundis pidavat olema tollasele arvutiriistvarale igati jõukohane.

 

Kas tõesti mitte keegi teine peale Fabianowski ei ole viimase 13 aasta jooksul Verbatiumiga suhelnud?

 

Kalle Reinmets

 

From: Jaak Laineste <jaak.l...@gmail.com>
Sent: Wednesday, April 14, 2021 12:56 PM
To: Kalle Johannes Reinmets <kre...@taltech.ee>
Cc: margus...@gmail.com
Subject: Re: (OSM) Küsimus Verbatiumi hooneimpordi teemal

 

Hoi,

 

Minumeelest seda, et see pole ilmselgelt teadaolevate suurfirmade andmed sai ka kontrollitud kunagi. Aga enne googlet olid Eestis mingid väikefirmad kes lõid ka oma kaardiandmeid ja müüsid neid oma tootena (desktoptarkvara tol ajal), ilmselt keegi lekitas sealt shapefailidena seda "internetti". 

 

Ma oma isiklikust meiliarhiivist leidsin vahepeal sellise lõigu:

 

I asked the mapper who imported the stops (verbatium). His reply 
indicated a very unfortunate misunderstanding of the way copyright works:

"I think this is open source data, bcs it is free accesible in the 

internet, and there  nothing about author or copyright" 

 

Kontakt Kalle Johannes Reinmets (<kre...@taltech.ee>) kirjutas kuupäeval T, 13. aprill 2021 kell 23:57:

Tere,

 

Olen TTÜ IT-tudeng Kalle Reinmets ning üritan osana oma lõputööst uurida Verbatiumi 2008. a impordi tausta. Pöördun teie mõlema poole korraga Andres Kaaberi soovitusel. Ma ei oska siia üht suurt kokkuvõtvat küsimust pakkuda. Mida teate / mäletate / oskate kommenteerida Verbatiumi impordi, andmete päritolu või kasutaja enda teemal?

 

Olen alates veebruari lõpust / märtsi algusest uurinud Verbatiumi andmete allikat. Alustasin vastavalt SviMiku oletustele Garminist (https://groups.google.com/g/openstreetmap-ee/c/4tXttib2vFg/). Garmin soovitas küsimusega pöörduda Here’i poole ning omalt poolt saatsin kirja ka Regiosse.

 

Peale seda, kui Garmin, Here ja Regio eitasid Verbatiumi andmete sarnasust nende endi andmekoguga, tekkis kahtlus, et äkki muudeti jälgede segamiseks impordi käigus andmeid. Samuti sain selleks ajaks  kontakti Bartosz Fabianowskiga (https://groups.google.com/g/openstreetmap-ee/c/_fv9IhSwdhU/m/sd7Ho_KqKNEJ), kes oskas anda Verbatiumi pärisnime (Valeri Kuzmin) ning teatas, et nimede guugeldamisel leitakse 2 isikut - tarkvaraarendaja Tallinnast ja päästja Sillamäelt. Mõlemale saatsin meili, aga kumbki ei ole seni 2 nädala jooksul kirjale vastanud

Kuna tolle ajastu OSMi ajalugu analüüsides leidsin poolkogemata mitu suuremahuliste muudatuskogumitega Virumaa kasutajat, kes osutusid nime kontrollimisel  Päästeametnikeks, oletasin, et Verbatium võis Sillamäelasena olla nendega ametialaselt tuttav.  Lähtudes Päästeameti (PÄA) kui riigiasutuse oletusest uurisin päästjate ligipääsu Maa-ameti vektorandmetele ning autoriõiguste oletatava omaniku (eeldatavasti Maa-ameti) edasist käitumist tõenäolise rikkumise korral.

Uuritaval perioodil tegeles Eesti põhikaardi kaardistamisega EOMap ja Eesti Kaardikeskus (https://geoportaal.maaamet.ee/est/Ruumiandmed/Topokaardid-ja-aluskaardid/Eesti-pohikaart-1-10000/Pohikaardistuse-ajalugu-p113.html). EOMap soovitas sel teemal suhelda Maa-ametiga.  Maa-amet leidis sarnaselt Regio ja Garminiga, et juhul kui tegemist oli autoriõiguste alase probleemiga, ei vääri nii ammune juhtum menetlemist.

Kahe päästeametniku vastused lähevad teineteisega vastuollu. Tollase arendusjuhi väitel (Kaaber) ei olnud PÄA-l ligipääsu Maa-ameti kaartidele ning kaaluti hoopis OSMi kasutamist. Samuti eitas Kaaber Verbatiumi isiklikku tundmist. Tänane arendusnõunik uuris välja, et PÄA-l oli siiski ligipääs Maa-ameti vektorkaartidele olemas, aga piiratud vaid paarile töökohale, kus trükiti paberkaarte. Ebatõenäoline seos, aga väärib mainimist, et aastatel 2006-2008 osteti päästeametile Garmini käsi-GPSid. Garmini juristi vastusest tuli välja, et Verbatiumi lisatud Type=0x13 OSM kaardil ei viita mitte andmete päritolule, vaid et OSM andmeid kasutati Garmini seadmetesse laadimiseks.

 

Kui vaadata Verbatiumi impordi omapäraselt vigase kuju ja topoloogiaga hooneid (nt Estonia teater ja Tornimäe kaksiktornid), siis Estonia teater on veidike Maa-ameti kaardiga sarnane, aga kaksiktornid ilmusid põhikaardile alles 2012 ning juba siis peaaegu korrektse kujuga…

Avastasin just OSMi, 1996-2007 ning 2009 põhikaartide võrreldes, et OSMil ja vanadel põhikaartidel leidub sarnaseid hälbeid kaasaegsest vektorkihist. Arvestades põhikaardi suhteliselt pakse jooni tundub rasterkaartide kasutamine järjest usutavam, aga see ei seleta, miks osa hooneid järgivad 2007 ja osa 2009 a kuju. Kas Maa-ametil võis olla ka 2008. a raster-WMS, mis on erinev eelmisest ja järgmisest kaardist?

 

Otsides talk-ee arhiivist Kuzmini nime, õnnestus temaga siduda karto...@hot.ee meiliaadress. Siit võib oletada, et Verbatiumi kunagine wiki-kasutajanimi võis olla Kartograff. Kartograffi muudatuste ajalugu uurides on võimalik leida fail https://wiki.openstreetmap.org/wiki/File:Josm.PNG. Äkki kasutas verbatium importimisel siiski Maa-ameti rastrit, nagu SviMik 2013. aastal?

 

Verbatiumi kui tallinlase kasuks räägib changeset/546348 ja muu ümbruskonna elementide ajalugu. Tallinna jälge pole ma põhjalikult uurinud, sest vaid paaril üksikul Välja tee elamu korteriühistul on avalikult saadaval kontaktinfo ning arvestades, et 13 aasta jooksul (eriti masuaegses uuselamurajoonis) võivad korterite omanikud vahetuda, ei ole 8 tasulise kinnistusregistri päringu tegemisel mõtet.

 

DWG-le kirjutasin eelmisel nädala lõpus ning nad ei ole veel vastanud. Formaalset kasutajate arvamusküsitlust ma läbi ei ole viinud ja lõputöö raames ei plaani ka, ainult möödaminnes olen paarilt välismaiselt kasutajalt küsinud, arvamused eemaldamine vs allesjätmine jagunesid 4 vs 4.

 

Vastust ootama jäädes,

Kalle Reinmets,

TTÜ IT-tudeng,

OSM kasutaja fghj753

 

Igaks juhuks olgu mainitud, et käesolevas kirjas töötlesin liiga palju liialt oletuslikke isikuandmeid, et seda kirja kõlbaks talk-meiliarhiividesse talletada.

Ennetavaks infoks: Lõputöö praktilises osas tegelen skriptiga, mis „omab võimekust“ Verbatiumi hoonete kaasaegsele kujule viimiseks. See tähendab, et skript töötab kohalikus OSM testkeskkonnas ning jääb ära meililistist lubade taotlemine. Kui kõik läheb plaanipäraselt (üpris ebatõenäoline) siis kavatseksin suve teises pooles probleemi lahendamist avalikumalt lahata.


 

--

Jaak Laineste

Anti Kasuk via Talk-ee

unread,
Apr 15, 2021, 10:07:54 AM4/15/21
to tal...@openstreetmap.org, Anti Kasuk

Ups saatsin enne vastuse ainult Margusele.

Samal ajal kui need Verbatiumi hooned tekkisid liikus ringi üks dgn fail mis oli väidetavalt pärit Tallinna linna süsteemist. ehk siis tänase Tallinna avanadmete TAR baasi eelane .....
Tallinna hooned olid mälu järgi väga selle moodi.

Vana pea ei pea kõike kinni aga minu mälu järgi oli võimalik andmedi alla sikutada ka tollasest ehr'ist sellel ajal olid hoonete ruumikujud juba olemas ?

Eomap'il oli ja on ka korralik baas.

Maaamet müüs sammuti sellel ajal vist juba vektorit ....

Ärikataloogi plaadil oli ka mingi kaart...

Igal juhul võiks need Verbatiumi andmed üle kirjutada 100% ausate avaandmetega...

kasu

_______________________________________________
Talk-ee mailing list
Tal...@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-ee

Margus Värton

unread,
Apr 15, 2021, 10:36:21 AM4/15/21
to OpenStreetMap Estonia
Hoi,

EOMapist need kindlasti pärit ei olnud - Verbatiumi asjade ilmumise ajal olin ma vististi veel selle maja arendusjuht :).

Aga igatahes on hea plaan teha lööktööd selle sodi kadumiseks baasist.

M.

fghj753

unread,
Apr 15, 2021, 12:34:25 PM4/15/21
to OpenStreetMap Estonia

Tere,

 

Olen Tallinna 2006 paberkaarti juba uurinud. Väikesed sarnasused leiduvad, aga esiteks on Tallinna kaart märgatavalt parema kvaliteediga kui Verbatiumi andmed (nt paljud hooned on täisnurksed) ning loogiliselt võttes ei tohiks Tallinna linna kaart naabervaldasid sisaldada. Vana kaardi vektor on tänapäeval allalaetav Tallinna kaardiarhiivi (https://gis.tallinn.ee/kaardiarhiiv/) lehelt. Vektorkaardilt selgub, et ümmarguste osadega hooned (levinud Pirital ja Nõmmel) on vanal Tallinna kaardil isegi detailsemad kui praegusel Maa-ameti vektoril. Samuti puuduvad kaardilt hooned, mis olid linna piirist kaugemal kui 200 meetrit.

 

Vahepeal sain DWG-lt kommentaari Verbatiumi teemal. Kui ma nädal tagasi neile kirjutasin, olin 90% kindel, et 2008. aasta juhtumis kasutati Maa-ameti vektorandmeid, aga vahepeal on see kindlus vähenenud. Nende ametlik vastus on põhimõtteliselt sama, mis Maa-ametil.

 

The official comment of DWG about this issue is that we haven't had a complaint yet so had no reason to investigate it more closely. And from what you write it sounds unlikely that we would get a complaint. Unless you want to make one in which case we might have to delete everything ;)

 

Vastusel oli ka vähem ametlik osa mis vastas küsimusele, mida teha, kui kahtlasest allikast pärit vanu andmeid on vahepeal uuendatud.

We had similar situations where a data source became legal to use after it had been used for an import. In theory, the legally clean path would be to delete the old data and purge it from the history (we call this a "redaction"), and re-create a new object. We try to be realistic about such things though, and not make everyone's life harder than it needs to be. 

/…/ 

If an object is updated later from a different source, it is often hard to know if all properties of the object have actually been superseded. If there's a building with a house number and someone changes the four corners of the building, is the house number still "old"...?

 

Minu arvates omavad Verbatiumi hooned ajaloolist väärtust illustreerimaks, kui palju on (OSM) kaardi kvaliteet aastatega paranenud. Võttes arvesse, et algne import ei sisaldanud tegelikult isegi mitte building-silte (kasutati buildung=yes), usun, et ebatõenäolises tulevikustsenaariumis, kus andmed tulebki andmebaasist kustutada, peaks olema suhteliselt lihtne tõestada, et andmete hilisem versioon lähtub täielikult muust (s.t Maa-ameti) andmekogust.

 

K

Anti Kasuk via Talk-ee

unread,
Apr 15, 2021, 1:51:54 PM4/15/21
to tal...@openstreetmap.org, Anti Kasuk

2006 oligi paberil ametlik kaart. 

Samal ajal kasutas tallinna maaamet ja planeerimisamet dgn'i ?

Tormi Tabor äkki oskab täpsemalt kommenteerida.

Tormi toimetas selle ajal minu mälu järgi veel linna süsteemis ja vahel on ka siia listi sattunud.

Minul oli igatahes mingi ketta nurga peal suht samast ajast 99% samade andmetega dgn fail mille
väidetav päritolu oli Tallinna linnasüsteem.

Tallinna koondkaart ja TAR andmestik on tiba teise loogikaga loodud kui Maaameti vastavad andmekogud.

Maaamet tugineb suuresti oma lennuinfole. Tallinn geodeetilistele joonistele.

3D kaksikud on ka erinevate ruumikujudega.

kasu

Margus Värton

unread,
Apr 15, 2021, 2:13:59 PM4/15/21
to OpenStreetMap Estonia
Hoi,

Ma mäletan aega, kui Eesti kaart OSMis oli imporditud sakiline rannajoon ning üks GPS-track Tallinnast Rakvere poole, mis kujutas enesest maanteed. Kõik. Rohkem ei olnud mitte midagi. Edasine on vabatahtlike töö ja mõned impordid. OSMi olemus on selline, et vanad ja väärad andmed vajuvad nii ehk naa kusagile ära ning aina uuemad andmed tulevad peale. Kui me kusagil selles muutumiste ahelas oleme vea teinud - nagu Verbatium ilmselt on - siis on paljude aastate möödudes täiesti mõttetu kogu seda muutumise ahelat minema visata, sest kõik olulised rekvisiidid on korrektse litsentsiga uuendatud niikuinii. Ja kui millelgi ei ole, siis tuleb seda nüüd lööktööga teha ja kogu lugu.
Maa-ametiga on see lugu, et palju aastaid ei saanud sealsed asjapulgad üldse aru, mis loom on andmete litsents. Kui me küsisime, siis öeldi midagi umbes sellist, et 'no aga meil on ju teenused püsti, milles küsimus?'. Mitte keegi ei olnud vastu, ent ametlikku nõusolekut Maa-ameti teenuste põhjal tuletatud andmekogu loomiseks ei tahetud anda - ei olnud seisukohta, kas Maa-ameti andmeid tuleks käsitada kui rahalist väärtust omavat vara või avaandmeid või veel midagi vahepealset. Nii et Avatud Maakaardi Seltsi nimele kunagi väljastatud ametlik ja kirjalik nõusolek tuletatud andmekogu loomiseks oli selles ajas väga oluline väärtus. See dokument kehtib ilmselt ikka veel.

DWG seisukoht aga on väga mõistlik.

- M -


fghj753

unread,
May 27, 2021, 4:19:57 AM5/27/21
to OpenStreetMap Estonia

Tere taas.

 

Pisut üle kuu aja tagasi arutasime siin meililistis Verbatiumi hoonete päritolu teemal. Andmete päritolu uurimine oli vaid osa minu lõputööst, teine osa oli töötada välja lahendus, mis omaks võimekust andmete uuendamiseks. Nüüd seoses sellega, et olen lõputööga suures osas ühele poole saanud (kaitsmine on juuni algul), oleksin huvitatud pärisandmete korrastamisest. Eesmärk on automaatselt uuendada võimalikult paljude Verbatiumi impordiga lisatud hoonete kuju (sõlmi / nodes), säilitades samal ajal nende hoonete (joonte / ways) ajaloo ning minimeerides naaberelementidele tekkiva kahju. Järgnevalt annan ülevaate uuendamise skripti tööpõhimõttest ning testkeskkonnas (kohalik VM) tehtud katsete tulemustest. Lühidalt on põhimõte uuendada ainult kõige vanemaid eraldiseisvaid hoonekujusid, mille muutmine ei tohiks mõjutada teisi elemente.

 

Lähtepunkt oli tagada skripti taaskasutatavus tulevikus, ehk tegelikult vaikimisi ei valita mitte ainult Verbatiumi hooneid, vaid kõiki, mille kuju on vanem kui 10 aastat. Seeläbi on võimalik hiljem kasutada skripti nt 2013. aasta impordi tarbeks, kui tollast rasterandmest loetud kuju hakataks liiga kehvaks pidama. Põhjus, miks ma ajalise filtri valisin oli see, et selle negatiivi on Overpassiga tõhusam realiseerida kui kasutajanime põhjal filtreerimist (s.t "vali kõik sõlmed, mis on uuemad kui X" vs "vali kõik sõlmed, mida ei ole muutnud kasutaja X"). Terve Harjumaa puhul räägime kahe päringu võrdluses 37653 (Verbatium ja vanem kui 2008-09-28 [1]) vs 43629 (vanem kui 2011-02-24 [2]) vs 45336 (vanem kui 2011-05-24 [3]) hoonet. 24. veebruari päringu lisasin sellepärast, et ma viitasin sarnasele päringule varasemas kirjas. Suvel 2011 lisati Harjumaale suur hulk hooneid (~7000), aga ma ei usu, et nende uuendamine oleks nii kriitiline, et neid tuleks kaasata.

 

Kõik algab mõne eelviidatud Overpassi päringuga sobivate hoonete leidmisest. Overpassi päringul on küll kaasas ingliskeelsed kommentaarid, aga tööpõhimõte on järgnev:

* Leitakse kõik Harjumaa hooned koos sõlmedega.

* Nende hulgast jäetakse alles hooned, mille ükski sõlm ei vasta tingimusele X (nt ei ole Verbatiumi lisatud).

* Seejärel eemaldatakse hooned, mis jagavad ühist sõlme mõne mitte-hoonega.

 

Skriptis endas on veel täiendavad lisakontrollid, mis on kirjas allpool 5. punkti alapunktidena.

Skripti tööpõhimõte OSMi vaatepunktist:

1) Lae Overpassiga hooned alla

2) Leia iga OSMi hoonele Maa-ameti vaste. Võrdlemisel kasutatakse külgnevuskastide kattuvust, mistõttu nt piklikel diagonaalsetel hoonetel võib vastasdiagonaalis olla suhteliselt suur nihe [4]. Alla 15% kastide kattuvust ignoreeritakse. Hooned on jagatud mälus 1km suurustesse ruutudesse, et neid saaks kiiremini otsida ning samuti saab hoida muudatuskogumite suuruse kontrolli all.

3) Hoonet üldse üritatakse muuta, kui OSMi kujule vastab vähemalt 15% ulatuses ainult 1 ETAKi hoone.

4) Muudatuskogumite piirid on valitud ühikruutude sorteerimise teel. Alustatakse edelast ning liigutakse 10km laiuse vööndiga alt üles vasakult paremale (SW -> NE). Uus kogum tehakse, kui uue hoone muutmine tõstaks muudatuste koguarvu üle 10'000 (muudatuskogumi maksimumsuurus) või jõutakse 10km vööndi kõige ülemise elemendini. Illustreeririv joonis: [5]

5) Ühe ühikruudu sees on hoonete uuendamine korrapäratu. Siiski kontrollitakse teatud tingimustele vastamist. Nendeks on:

5.1) Iga hoone olemasolev sõlm võib olla seotud vaid ühe joonega (Overpass kontrollis külgnevust mitte-hoonetega, aga siin arvestatakse hoonetega).

5.2) Ükski neist sõlmedest ei tohi omada atribuute/silte. Nt entrance=* pole lubatud, sest skript võib ukse tahtmatult majanurgaks muuta.

5.3) OSMis juba olemasoleval hoonel ei tohi olla rohkem sõlmi kui Maa-ameti kujul. Sama kogus on lubatud. Ennetab probleeme viisnurksete ristkülikutega.

6) Hoone sõlmede uuendamisel üritatakse seada OSMi ja Maa-ameti sõlmed omavahel vastavusse nii, et neid tuleks võimalikult vähe liigutada. Uusi sõlmi lisandub minimaalselt.

7) Lõpuks uuendatakse ka hoonet kui joont ennast. Kantakse sisse uued sõlmed, aga siinkohal teen ettepaneku mõningateks  automaatparandusteks.

7.1) Uuendada või lisada hoone maaamet:ETAK silt.

7.2) ~~Idee lisada kõrgusinfo.~~ Järele mõeldes ei ole see mõistlik, sest StreetComplete ei küsi korruste arvu ega katuse tüüpi, kui hoone kõrgus on juba meetrites antud. Äkki uuendada ainult neid, kus korruste arv on juba olemas?

7.3) Eemaldada muudetud hoonetelt sildid created_by (60tk), CityIdx (46tk)

7.4) Kui name ja addr:housenumber sildi väärtused on samad, eemaldada nimi. (30-60 juhtumit)

 

Olen skripti kuskil 4-5 korda virtuaalmasinas täismahus läbi proovinud. Skript töötas kohalikus VMis olevat OSM-APIt kasutades 9-10h. Aprilli lõpu seisuga vaadeldi 43925 hoonet, edukalt muudeti 32364 (74%). Tulemuste jaotus on toodud allpool tabelilaadse moodustisena. Viimased 3 rida on kokkuvõtlikud summeerimised. Tulemust "Ühtegi sobivat hoonet ei leitud" võib tõlgendada ka nii, et sobiv hoone on läheduses küll olemas, kuid kujundite suhteline nihe on nii suur, et nad ei kattu piisaval määral, et ETAK hoonekuju külgnevuskast kattuks OSMi omaga vähemalt 15% ulatuses. Mitme põhjuse alla koonduvad olukorrad, kus majale on lisatud ukse sõlm (Hoonekuju on detailsem + Sõlmel on sildid) või oli tegu Vanalinna majaga (Hoone sõlm on jagatud teise hoonega + detailsem kuju).

 

Kogus     Tulemus

32364      Hoone uuendatud.

5198       Ühtegi sobivat hoonet ei leitud

2594        OSMis olev hoonekuju on detailsem kui Maa-ameti kontuur.

1897       Hoone sõlm on jagatud teise hoonega.

1424        Valik mitme hoone vahel

442           Mitu põhjust (2 tk)

6               Versioonikonflikt

11561      Muutmine ebaõnnestus

32364      Muutmine õnnestus

43925      Vaadeldud hooned

 

Skripti väljund jaguneb 40 muudatuskogumisse. Igaühe laius on maksimaalselt 10 km ning neid hakatakse lisama edelast, liikudes 10 km laiuste vöönditega alt üles vasakult paremale. Muudatuskogumite eeldatav jagunemine – [6]

Näide hoonetest, kus skripti tööl oli suurim mõju (enamik neist asuvad Pirital). Punane number on OSMi ID, pruunikas-hall praegune kuju, sinine uus [7].

Skripti link – [8].

Formaalse poole pealt tuleks luua ka Wikisse vastav leht, aga ma ei ole kindel, mida sinna kirjutada. SviMiku kirjeldused (lehel Maa-amet#Import) on näiteks palju lakoonilisemad, kui ametlik eeskiri nõuab. Tegin leheküljega algust ning ootaks parandussoovitusi – [9]

 

Tahaks arutada läbi mõned kitsaskohad. Verbatiumi andmete päritolu probleemi sai arutatud varem ning paistab, et nende säilitamine OSM andmebaasi sügavustes ei ole vist probleem. Seoses ETAKi ja OSMi erinevast lähenemisest sisehooviga hoonetele tekib tehniline probleem, ehk need hooned, mida OSMis oleks õige salvestada relatsioonina paistavad ETAKis olevat endiselt ühe joonena, mistõttu võib tekkida nt iseendaga lõikumine (vt pilti), mida validaatorid suudavad õnneks suhteliselt kergesti tuvastada. Konkreetsel pildil on Laagri raamatukogu [10]

Kolmas on juba suurem ja põhimõttelisem küsimus. Peale skripti valmis saamist puutusin kokku väitega, et „One feature, one element“ kehtib ka ajalises plaanis, ehk kui viimase 12 aasta jooksul on maja ära lammutatud ning uus asemele ehitatud, siis kuidagi tuleks arvata ära, et midagi on muutunud ning sinna kohta uus hoone asemele joonistada. Mis te sellest arvate? Minu seisukoht oleks, et …

a) …arvestades, et Verbatiumi impordil on masuaegsed majad kenasti olemas, …

b) …lisatud hooned paiknevad pigem vanemate majadega piirkondades ning …

c) …hoonete aadresse on SviMik uuendanud 2013 ja 2019. aastal, …

…ei pea ma elementide taaskasutusest tulenevaid riske oluliseks. Aga sooviks kuulda teie arvamust.

 

Lõplikud kokkuvõtvad küsimused:

Mis on talk-ee arvamus? Kas võtta kätte ja uuendada hoonete kujud ära või loobuda?

Kas piirduda ainult Verbatiumiga (~37 tuh) või kaasata ka muud vanad hooned (+ ~8 tuh) kaasajastamisesse.

Millised on ettepanekud-soovitused wiki vastava lehekülje osas? [9] Mul ei ole head ettekujutust, mida sinna kirjutada.

Mis saab edasi neist, mida automaatselt ei anna arvatavasti parandada? Varasemas kirjas mainiti „lööktöö“ tegemist. Hetkeseisuga tuleks lisaks eelmainitud 11561 muutmata hoonele töödelda hinnanguliselt veel 9000 hoonet, mis sisaldavad vähemalt üht Verbatiumi sõlme [1], [11]. Arvan, et 4-5 tuh hoonet saaks muuta siis, kui 5. punktis toodud eelduseid lõdvendada ning lisada tugi sõlmede kustutamiseks. Soovitaksin nende viimastega tegelemiseks kaasata talgutesse nii Eesti kui ka rahvusvahelist kogukonda, sest tegemist on suhteliselt täpselt määratletava probleemiga, mille saab üpriski detailselt lahti kirjutada.

 

Tervitades,

Fghj753

 

Viited/Lingid:

[1] - https://overpass-turbo.eu/s/17zK

[2] - https://overpass-turbo.eu/s/17zG

[3] - https://overpass-turbo.eu/s/17zE

[4] - https://github.com/kallejre/geo/blob/main/building%20geometry%20importer/building%20footprint%20updater/util.py#L207

[5] - https://cdn.discordapp.com/attachments/486819875206070273/845275338626826240/unknown.png

[6] - https://cdn.discordapp.com/attachments/599196002699837461/837289769339584512/unknown.png

[7] - https://cdn.discordapp.com/attachments/599196002699837461/835563238066225212/unknown.png

[8] - https://github.com/kallejre/geo/tree/main/building%20geometry%20importer/building%20footprint%20updater

[9] - https://wiki.openstreetmap.org/wiki/Maa-amet_building_geometry_update

[10] - https://cdn.discordapp.com/attachments/486819875206070273/847167921011556372/unknown.png

[11] - https://overpass-turbo.eu/s/17LB

 

 

PS. Meililist teatas, et esialgne kiri oli liiga pikk ning jäi ootama moderaatorite heakskiitu. Lõikasin uues versioonis varasemate kirjavahetuste teksti lühemaks, aga ma ei saa vana kirja enam tagasi kutsuda. Soovitan vana kirja listist eemaldada

--

Jaak Laineste

_______________________________________________
Talk-ee mailing list
Tal...@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-ee

Jaak Laineste

unread,
May 27, 2021, 5:48:35 AM5/27/21
to OpenStreetMap Estonia
Mulle tundub ok plaan. 

Ehk tasuks lühike 1-lõiguline sõnum koos wikilehe lingiga saata nt https://lists.openstreetmap.org/listinfo/imports , ehk on kellegil hea idee. See meetod/töövahend muidu võib ju olla universiaalselt kasulik?

"Change detection” majade polügonidega on keerukas ülesanne ja kui siin on olemas hea vahend selle lahenduseks, siis on üks suur probleem maailmas vähem :)

Jaak

fghj753

unread,
May 31, 2021, 4:46:03 AM5/31/21
to OpenStreetMap Estonia

Hommik.

Importide listist soovitati siit üle küsida, mis on teie arvamus Maa-ametile viitamise osas? Kas piisaks ainult muudatuskogumile source=* lisamisest või peaks lisama allika sildi ka hoonetele? Saadan sama küsimuse ka Maa-ametile, aga ma ei tea kui kiiresti nad vastavad.

Fghj753

Jaak Laineste

unread,
May 31, 2021, 4:57:36 AM5/31/21
to OpenStreetMap Estonia

Me oleme korjanud maa-ametist nii palju asju (Corine, admin piirid jne) et objektitasemel viitamine massmuudatustel on minumeelest liig, piisab muudatuskogumist küll.

Jaak

fghj753

unread,
Jun 1, 2021, 1:41:10 PM6/1/21
to OpenStreetMap Estonia

Panin täna pärastlõunal skripti korraks tööle ning hetkel on peamised muudatused (<200 hoonet) leidnud aset Pakri saartel (sh poolsaarel / Paldiskis). Tulemust saab näha https://www.openstreetmap.org/user/fghj753_import/history

Üldjoontes kulges tegevus ootuspäraselt, aga vahetevahel ilmusid teated 'Remote end closed connection without response'. Ma arvan, et see on seotud liiga tihedates API päringutes (samm 5.1 – Kontrollitakse, et iga hoone sõlm oleks seotud vaid ühe joonega) – lahendus lisada rohkem ootamist, näiteks 0,1s sõlme, 0,4s joone ning 60s muudatuskogumi kohta. Skripti tööaeg pikeneks suurusjärgus 8-10 tunni võrra, ehk ajakulu kahekordistuks.

Reply all
Reply to author
Forward
0 new messages