Scrapping in Berlin

[Sascha Stingl]

Liebe Alle,

ich versuche seit einiger Zeit mich mit dem Ris-Scraper und einer Konfiguration für den Bezirk Friedrichshain u.ä. auseinanderzusetzen. Ich arbeite bei der Firma Lokaler in Berlin und wir wollen ein ähnliches Projekt wie Offeneskoeln für Berlin umsetzen. Meine versuche die config.py für den risscrapper so anzupassen um diesen auch mit dem Berliner System zum laufen zu bringen sind bisher gescheitert. Ich habe gesehen das aktuell ein erster Oparl standart entwickelt wird. Meine frage ist ob es ein Beispiel für eine funktionierende Abfrage für die BVV in einem Berliner Bezirk mit dem aktuellen scrapper gibt und falls nicht an welchen Stellen ich Anpassung vornehmen müsste. Mein letzter Versuch war es mit folgenden Vorgaben zu scrappen

https://github.com/OpenRuhr/ris-scraper/tree/master/city

wenn ich die config.py nach diesen Vorgaben für Berlin Friedrichshain anpasse erhalte ich folgende Fehlermeldung:

call:

python main.py -v --submissionurl "http://www.berlin.de/ba-friedrichshain-kreuzberg/bvv-online/vo020.asp?VOLFDNR=6062&opt

ions=4"

result:

Found ASP template system

Traceback (most recent call last):

  File "main.py", line 127, in <module>

    scraper.get_submission(submission_url=options.submission_url)

  File "/home/myusername/scrape-a-ris/risscraper/scraper.py", line 402, in get_submission

    submission_id = parsed['submission_id']

TypeError: 'NoneType' object has no attribute '__getitem__'

Die Beispiel mit Mannheim funktionieren soweit....nur leider nicht die für Berlin.

Ich wäre sehr dankbar für irgendwelchen Hinweise.

Ansonsten ein tolles Projekt !!!!!

Lg. Sascha

[Ernesto Ruge]

Hallo, Sascha,

nun, ich bin dann ja wohl irgendwie schuld an dieser Erweiterung. Der Scraper wird gerade kräftig umgebaut, daher garantiere ich für nicht viel. Aber dir fehlt beim Aufruf in jedem Fall der Parameter -c berlin-friedrichshain-kreuzberg, sonst lädst du nicht die Anpassungen der Stadt.

Ansonsten freue ich mich natürlich über Bugfixes. :)

Viele Grüße,

Ernesto