Web Scraper - chrome spraudnis datu ieguvei no tīmekļa vietnēm

[Mārtiņš Balodis]

Sveiki.

Pirms kāda laika rakstīju šeit par chrome spraudni, ko izstrādāju. Tagad tas jau ir pieejams chrome spraudņu katalogā. Ar šo spraudni tīmekļa vietnēs var atzīmēt kādas saites tam ir jāatvēr un kādi dati ir jāsavāc. Iegūtos datus var glabāt pārlūkprogrammā vai atsevišķā CouchDB datubāze (ieteicams, ja dati pārsniedz 20k ierakstu). Kā arī datus var eksportēt CSV formātā. Spraudnis un demo video ir pieejams šeit:

https://chrome.google.com/webstore/detail/web-scraper/jnhgnonknehpejjnehehllkliplmbmhn

Gadījumā, ja spraudnis nestrādā kā vajadzētu, tad problēmas aprakstu kopā ar eksportētu "sitemap" var iesūtīt šeit:
https://github.com/martinsbalodis/web-scraper-chrome-extension/issues

Pirmkods arī ir pieejams :)
https://github.com/martinsbalodis/web-scraper-chrome-extension

Mārtiņš

[Jānis Ķengurs]

Nevaru noskrāpēt http://www.bti.gov.lv/lat/barintiesas/barintiesu_adreses_/

Ja pareizi saprotu tad tāpēc ka admins tai lapai liek datus WYSIWYG editorā kā textu

Varbūt var kāds palīdzēt tad noskrāpēt vai iedot citu pamācību ar citiem rīkiem?

Vai idejas kā piedabūt viņus sākt vadīt datus lapā ar datu atdalīšanu div tagos vai kā viņš atlasa datus? No ģenerētiem datiem šis ideāli strādā.

[Mārtiņš Balodis]

Sveiks.

Jā, izskatās, ka dati ir sakopēti caur WYSIWYG. Šādās situācijās parasti neviens neko daudz nevar izdarīt. Labākais risinājums varētu būt izmantojot, HTML selektoru, kas paņemtu visas adreses no vienas lapas, un tad tās parsēt lokāli. Nedaudz vienkār'āks risinājums, bet ar iespējamām kļūdām, būtu izmantot šādu css slektoru adrešu atdalīšanai:

.text > p:contains('adrese')

--
You received this message because you are subscribed to a topic in the Google Groups "Open Data - Latvia" group.
To unsubscribe from this topic, visit https://groups.google.com/d/topic/opendata_lv/YJT64CPfehM/unsubscribe.
To unsubscribe from this group and all its topics, send an email to opendata_lv...@googlegroups.com.

For more options, visit https://groups.google.com/d/optout.

[Jānis Ķengurs]

Tāpat paņem visu P ar adresi. Vajag tikai pēc BR adresi līz nākamajam BR. Un kad sākas tel tad līz regex līnijas beigām.

[Jānis Ķengurs]

Kā var paņemt dropdown listes linku? Lapa ceļo no dropdowna.

[Jānis Ķengurs]

http://www.nationmaster.com/country-info/stats/Economy/Budget/Revenues#

[Mārtiņš Balodis]

Sveiks, Dropdownus un citus formu elementus pašlaik neatbalstu. Dropdowniem gan parasti sanāk atrast alternatīvu. Arī šājā gadījumā izskatās, ka saitē uz lapu var norādīt gadu kā parametru. Vietā, kur jānorāda sākuma saite vari norādīt apgabalu.

saite ar gadu:

http://www.nationmaster.com/country-info/stats/Economy/Budget/Revenues?year=1996

saite ar apgabalu:
http://www.nationmaster.com/country-info/stats/Economy/Budget/Revenues?year=[1990-1996]

dokumentācija par vairākām starta saitēm:
http://webscraper.io/documentation#scraping-a-site