Mutaties bepalen in een dataset gekentekende voertuigen

437 views
Skip to first unread message

grbril

unread,
Jan 26, 2018, 2:34:29 PM1/26/18
to RDW Open Data
We hebben de intentie om op reguliere basis de volledige set van gekentekende voertuigen op te halen.

Daarvoor is nu een omslachtig geautomatiseerd proces voorzien door dagelijks de volledige set op te halen en deze te vergelijken met de set die de keer ervoor is opgehaald. Zo kunnen we de mutaties bepalen en ook zien welke kentekens vervallen zijn.

Onze vraag is of er geen andere opties zijn om de mutaties voor gekentekende voertuigen inzichtelijk te krijgen.
De eerste experimenten laten zien dat het geautomatiseerd ophalen van de volledige set via REST/JSON of als excel bestand best een tijdrovende actie is......

We zijn erg benieuwd hoe andere organisaties hiermee omgaan.

Hans Westerbeek

unread,
Jan 26, 2018, 3:34:21 PM1/26/18
to RDW Open Data
Ik heb dit al geïmplementeerd. De omslachtigheid valt mee en de snelheid is vooral afhankelijk van de hoeveelheid rekenkracht die je wil inzetten en wat voor soort database je gebruikt.

Ben best bereid in contact te treden hierover.

Gr,
Hans

Gerlof Bril

unread,
Feb 10, 2018, 10:49:06 AM2/10/18
to RDW Open Data
Gezien het uitblijven van verdere reacties (Hans, nogmaals bedankt voor jouw reactie) concluderen we dat er of weinig animo voor dit forum is, of dat de geschetste werkwijze van het dagelijks ophalen van 13 miljoen records en dan vergelijken met de download van de dag ervoor..... de enige implementeerbare methode is om mutaties, nieuwe en vervallen kentekens te bepalen.
Er is blijkbaar geen REST service en ook geen behoefte  om de wijzigingen van de afgelopen maand of iets dergelijks op een eenvoudigere wijze door te geven. 
Of een manier om geautomatiseerd bestanden van 13 miljoen records via een (al dan niet secure) file transfer mechanisme beschikbaar te stellen.

Sven Ahrens

unread,
Mar 18, 2018, 7:37:21 AM3/18/18
to RDW Open Data
Je kan ook kijken naar de ":updated_at" of ":created_at" waardes, dit zijn alleen speciale velden die verborgen zijn. Met deze query haal je de laatste 5 (limit = 5) aangepaste rijen op: http://opendata.rdw.nl/resource/m9d7-ebf2.json?$order=:updated_at%20DESC&$$exclude_system_fields=false&$select=:*,%20*&$limit=5

Je kan bij $order ook sorteren op een andere veldnaam, of DESC aanpassen naar ASC.

Want denk ik het beste bij jouw vraag past is de volgende query: http://opendata.rdw.nl/resource/m9d7-ebf2.json?$order=:updated_at%20ASC&$$exclude_system_fields=false&$select=:*,%20*&$where=:updated_at%20between%20%272018-03-12T00:00:00.000Z%27%20and%20%272018-03-12T23:59:59.000Z%27

Deze laat je nu álle wijzigingen zien die op 12 maart 2018 zijn doorgevoerd. Omdat er geen '&$limit=xxxx' bij staat wordt ie automatisch gelimiteerd tot 1000 resultaten, maar maak hier 25000 van en je hebt je lijst. (in totaal zijn er 3200 wijzingen of nieuwe records op 12 maart 2018)

In plaats van "between 'DATUM1' and 'DATUM2'" kan je ook kiezen voor ">'DATUM1'", dan krijg je alle resultaten met een :updated_at van na die datum.

Voor meer informatie over de datumvelden, zie hier: https://dev.socrata.com/docs/datatypes/floating_timestamp.html
De dataset maakt gebruik van versie 2.1 van de API, dus je kan alle opties gebruiken.

Hoop dat je zo verder kunt met je project!

Op zaterdag 10 februari 2018 16:49:06 UTC+1 schreef Gerlof Bril:

fritsi...@gmail.com

unread,
Apr 4, 2018, 7:52:18 AM4/4/18
to RDW Open Data
Dit werkt fantastisch! 

Het enige wat ik mis is een manier om verwijderde kentekens te zien. Is hier ook een oplossing voor?

Op zondag 18 maart 2018 12:37:21 UTC+1 schreef Sven Ahrens:

Hans Westerbeek

unread,
Apr 4, 2018, 8:10:04 AM4/4/18
to voertuigen...@googlegroups.com
Dan zul je dus wel de hele lijst moeten doorlopen en zien welke er verdwenen zijn....

Op wo 4 apr. 2018 om 13:52 schreef <fritsi...@gmail.com>
--
Je hebt dit bericht ontvangen omdat je bent geabonneerd op een onderwerp in de groep "RDW Open Data" van Google-discussiegroepen.
Als je je wilt afmelden bij dit onderwerp, ga je naar https://groups.google.com/d/topic/voertuigen-open-data/2dlXnHJhLP0/unsubscribe.
Als je je wilt afmelden bij deze groep en alle onderwerpen van de groep, stuur je een e-mail naar voertuigen-open-...@googlegroups.com.
Ga naar https://groups.google.com/d/optout voor meer opties.
--
Hans Westerbeek - Software Engineer
http://www.enhance-ict.com

Sven Ahrens

unread,
Apr 4, 2018, 12:32:49 PM4/4/18
to RDW Open Data
Het punt met verwijderde kentekens is dus dat die er niet meer zijn ;)

Wat je kan doen is een 'checked' kolom aanmaken en deze bij iedere update aan laten passen naar de huidige tijd, en wekelijks (zondagavond ofzo) een update draaien die de kentekens van de rdw vergelijkt met jouw database. Indien het kenteken in beide staat dan pas je de 'checked' kolom aan naar de huidige tijd. Dan kan je ook nog inbouwen dat een kenteken met een 'checked'-datum ouder dan 8 dagen gecontroleerd wordt bij de DRW. Indien daar niet gevonden dan is het kenteken verwijderd.

Je zou die laatste stap ook handmatig kunnen checken via ovi.rdw.nl, voordat je records gaat verwijderen. Via OVI kun je ook terugzien of een voertuig is geëxporteerd of gestolen, dit is (nog) niet mogelijk via de opendata-weg.

Op woensdag 4 april 2018 13:52:18 UTC+2 schreef fritsi...@gmail.com:
Reply all
Reply to author
Forward
0 new messages