Netex data afhalen via requests

[Tijs Poot]

Hoi,

Ik kan de NETEX data manueel bekijken en downloaden via https://data.ndovloket.nl/netex/.

Is er echter ook een mogelijkheid om dit te doen d.m.v. http-requests?

Op die manier zou ik dan automatisch kunnen checken of er nieuwe files zijn en deze downloaden en verwerken.

Alvast bedankt!

Tijs

[Sven Boor]

Hoi Tijs,

Als dat wil doen d.m.v. HTTP-request dien je op dit moment de HTML te scrapen om alle linkjes te verzamelen.

Makkelijker is wellicht om gebruik te maken van FTP, dat kun je bijvoorbeeld doen met behulp van het volgende commando.

rclone copy :ftp:netex data --ftp-host=data.ndovloket.nl --ftp-user=anonymous --ftp-pass=$(rclone obscure dummy) -v

Dit commando kopieert alle data die in het mapje netex op data.ndovloket.nl staat naar je eigen machine.

Daarnaast ben ik op dit moment bezig met het bouwen van een NeTEx-Indexer. Als die klaar is kun je zonder alle bestanden te hoeven inlezen bepalen welke bestanden je moet inladen om bijvoorbeeld de dienstregeling van een specifiek operationele dag te kunnen tonen. Zodra ik iets beschikbaar heb zal ik het hier delen.

Groet,

Sven

Op donderdag 18 januari 2024 om 12:00:31 UTC+1 schreef Tijs Poot:

[Tijs Poot]

Super! Bedankt voor de info.