Issues Gekentekende Voertuigen

[Joris Blom]

Goedemiddag, 

Wij halen al langer dan een jaar het volledige Gekentekende_Voertuigen bestand dagelijks op. Voorheen deden we dit met een SSIS-package en sinds een aantal maanden doen we dit met onze ETL-applicatie TimeXtender. 

Sinds ongeveer een week halen we continu minder records op dan er zouden moeten zijn. 
Hij stokt bij de 12.070.000. Zijn er meer mensen die dit ervaren?

Daarnaast zouden we graag een incrementele load doen. 

Idealiter zouden we dan alleen de records ophalen met een updatedatum groter dan vandaag (-2 dagen). 
Dit werkt helaas niet op deze bron, aangezien de uploaddatum altijd gelijk is aan de meeste recente datum, waardoor je standaard alsnog een full load doet. 
Ik ben vast niet de eerste persoon die hier tegen aanloopt dus ik ben zeer nieuwsgierig hoe jullie/anderen hier mee omgaan. 
Wie kan mij hierbij helpen?

Alvast bedankt voor jullie tijd en moeite! 

Met vriendelijke groet, 

Joris

[Thomas Brinkman]

Even gekeken wat ik binnengehaald heb:

- Job werd gedraaid om 21:00
- csv: 25 nov 17:11, 9,0GB 
- aantal rijen in database: ca 14,57M rijen

er zijn er dus daadwerkelijk meer dan de 12M die jij ziet

--
Je hebt dit bericht ontvangen omdat je bent geabonneerd op de groep 'RDW Open Data' van Google Groepen.
Als je je wilt afmelden bij deze groep en geen e-mails van de groep meer wilt ontvangen, stuur je een e-mail naar voertuigen-open-...@googlegroups.com.
Ga naar https://groups.google.com/d/msgid/voertuigen-open-data/fcf354eb-26b1-47a3-9d67-fb18af5f2cadn%40googlegroups.com om deze discussie op internet te bekijken.