429 - Too Many Requests, ook met App Token

[Michael]

Goedemorgen,

Wij hebben een applicatie ontwikkeld voor autodealers waarbij we o.a. de APK datum gebruiken. Hiervoor hebben we een eigen cache database opgezet welke we 's nachts updaten via de API.
In het begin werkte het updaten zonder problemen, echter vorige week een paar keer de 429 status terug gekregen.

Zodoende hebben we een App Token aangemaakt en deze gebruiken we nu in onze requests. Echter, blijven we de 429 status terugkrijgen na een x-tal requests.

Bij de App Token zit ook een Secret Token, echter is niet duidelijk waar deze voor is. Volgens de documentatie moet de App Token zelf gebruikt worden, niet dat er b.v. een hash of encryptie gebruikt hoeft te worden met de secret. Ik neem aan dat dit genegeerd kan worden.

Wat is 'best practice' bij deze status code? Kan er een retry gedaan worden na b.v. 1 seconde wachten? Of moet er langer gewacht worden, of zelfs korter?

Volgens https://dev.socrata.com/docs/app-tokens.html zou er geen rate limit zijn bij gebruik van een App Token. Maar wellicht is dit een oude tekst. Wat is de huidige policy?

Momenteel vragen we bij de updates per request 100 kentekens op. Is dit een goed aantal, of is het beter om een groter of kleiner aantal per request te doen? (Bij kleiner aantal worden er dus meer aparte requests gestuurd).

Alvast bedankt,

Michael

[Maxim Ivashkov]

Hoi Michael, met socrata url query kun je de gewenste velden voor de hele dataset ophalen, en je kan filteren, 

dan wordt de request nog sneller.  Je hoeft niet per auto een api oproepen. als ik niet goed begrepen, dan wilt RDW weten welke api je roept, denk ik. 

succes!

Maxim

een voorbeeld. 

https://opendata.rdw.nl/resource/m9d7-ebf2.json?$select=kenteken,voertuigsoort,merk,type,bruto_bpm,inrichting,aantal_zitplaatsen,massa_ledig_voertuig,massa_rijklaar,catalogusprijs,wam_verzekerd,maximale_constructiesnelheid,aantal_staanplaatsen,aantal_wielen,lengte,breedte,europese_voertuigcategorie,type_gasinstallatie,uitvoering,volgnummer_wijziging_eu_typegoedkeuring,vermogen_massarijklaar,wielbasis,export_indicator,taxi_indicator,datum_tenaamstelling_dt,datum_eerste_toelating_dt,datum_eerste_tenaamstelling_in_nederland_dt,hoogte_voertuig,zuinigheidsclassificatie,maximum_massa_trekken_ongeremd,aanhangwagen_autonoom_geremd,aanhangwagen_middenas_geremd, technische_max_massa_voertuig,maximum_massa_samenstelling&$where=datum_eerste_toelating>=20221201&$limit=50

Op ma 13 mrt 2023 om 10:31 schreef Michael <vandertoo...@gmail.com>:

--
Je hebt dit bericht ontvangen omdat je bent geabonneerd op de groep 'RDW Open Data' van Google Groepen.
Als je je wilt afmelden bij deze groep en geen e-mails van de groep meer wilt ontvangen, stuur je een e-mail naar voertuigen-open-...@googlegroups.com.
Ga naar https://groups.google.com/d/msgid/voertuigen-open-data/142f6512-cd61-4f7f-9be2-934cd3804f87n%40googlegroups.com om deze discussie op internet te bekijken.

--

Fijne dag

Maxim​

PLANSIS  
Business Intelligence, Management Information , Forecasting, Planning, Web Development

M          +31 6 228 015 28 

E          ma...@plansis.nl
W          www.plansis.nl

De inhoud van deze e-mail, inclusief bijlagen, is persoonlijk en vertrouwelijk. Mocht dit bericht niet voor u bedoeld zijn, informeer dan per omgaande de afzender en verwijder dit bericht. Gelieve deze e-mail, inclusief eventuele bijlagen, niet te gebruiken, kopiëren of door te sturen aan derden.

[Michael]

Beste Maxim​ ,

Bedankt voor de reactie.

Voor de APK datum gebruik ik: m9d7-ebf2

Klopt wat je zegt, via de API haal ik 100 auto's tegelijk op per request via het kenteken. Ik bepaal dagelijks welke opgehaald moet worden aan de hand van de APK datum in mijn cache database en de laatste update.

Daarnaast importeer ik maandelijks het complete .csv bestand zodat mijn cache weer 100% klopt ... maar dat is een flink zwaar proces en niet iets dat we wekelijks of dagelijks willen doen.

De "select" gebruikte ik nog niet, maar kan inderdaad een optie zijn. Scheelt toch weer iets.

In ieder geval werkt de retry na 1 seconde goed. Vannacht zijn 8 requests alsnog gelukt na 1 retry.

Met vriendelijke groet,

Michael

Op dinsdag 14 maart 2023 om 13:36:06 UTC+1 schreef maxim.i...@plansis.nl: