On Wednesday, November 23, 2022 9:41:27 PM CET, Alexander Overvoorde wrote:
> Toen ik de eerste versie van ovzoeker bouwde, onderzocht ik waar ik de
> dienstregeling en live updates vandaan kon halen. Als ik het mij goed
> herinner bestonden de GTFS-RT bestanden toen nog niet, dus voor live
> updates waren de KV6/KV78turbo/etc.
ovzoeker.nl is geregisteerd in oktober 2013. Ik weet zeker dat er op dat
moment al GTFS-RT was. Ik heb het zelfs nagezocht in een conversatie tussen
Thomas Koch en Andrew Byrd een jaar eerder in 2012. Overigens: op dezelfde
URL als nu.
> Maar... als je toch al een manier hebt om die GTFS-RT bestanden te
> genereren en elke X seconden in een map te zetten, dan is het triviaal om
> die wijzigingen over een WebSocket of ZMQ socket te publiceren. Daarom
> stuurde ik toendertijd een e-mail om voor te stellen om de data ook over
> een WebSocket aan te bieden. De reactie die ik hierop kreeg kwam er echter
> op neer dat het allemaal heel ingewikkeld was en niet ging gebeuren.
Het probleem is, dat het niet triviaal is om het op grote schaal te doen.
Sinds 2013 draaien we naar aanleiding van een standaardisatie overleg met
Brian Ferris een websocket feed. En die websocket feed werd op dat moment
ook gebruikt om OpenTripPlanner realtime bij te werken (in plaats van met
snapshots voor Google Maps of rrrr).
Waarom is het niet triviaal voor tripUpdates.pb.
1. Je hebt een volledige snapshot nodig om te starten.
2. Er mag geen ruimte zitten tussen de eerste websocket update en die
snapshot
3. Om het publiceren echt schaalbaar te maken moet je de berichten op een
pubsub achtige manier asynchroon naar een websocket distributie keten
sturen. Daarna heb je uiteraard nog wat problemen als slow-subscriber
op
te lossen.
4. DIFFERENTIAL is nog steeds niet gestandaardiseerd.
Waarom het voor vehiclePositions.pb wel kan werken: je gaat er vanuit dat
binnen een minuut toch wel een update komt. Terwijl als je een cancel hebt
gemist, je nat gaat.
Nu hebben we een aantal scenario's bedacht om 'schaalbaar' in sync te
komen. Denk aan eerst upgraden naar websockets, en te bufferen tot de
timestamp van de volgende snapshot, maar triviaal is het allemaal niet en
on de fly genereren van protobuf bestanden van 2.5MB is ook een CPU sloper.
>> Nu gaf Thomas ten Cate aan dat een standaard library een van de
>> interessante dingen is, maar ook dat gaat er vanuit dat 'iemand anders het
>> wel even voor je gaat maken' en niet dat het een 'gezamenlijk initiatief'
>> is.
>>
>
> Ik vind dat hier wel heel snel conclusies getrokken worden.
Ik vind dat ik na 1 jaar toch echt die conclusie wel mag trekken.
<
https://groups.google.com/g/openov/c/DuAvruauvnU/m/a_cl7cYTAwAJ>
> Niemand hier twijfelt aan het belang van wat er al die jaren gratis via
>
ovapi.nl aangeboden is. Ik kan oprecht zeggen dat als die GTFS data er niet
> was geweest, dat ik waarschijnlijk nooit iets met de OV data had gedaan.
> Tegelijkertijd is er in deze community nooit om hulp gevraagd bij de
> ontwikkeling of hosting. Tenzij je goed zoekt is het ook eigenlijk niet
> eens echt duidelijk dat het hier om een open source project gaat, maar
> eerder als een extra service die semi-officieel vanuit het NDOVloket
> aangeboden wordt om het makkelijker te maken om met de OV data aan de slag
> te gaan.
Het gaat commercieel niet om het hosten of maken van GTFS. GoAbout sponsort
al jaren een server. De tandem daarvan wordt door OVapi en Bliksem Labs
betaald. Formeel is het een gesponsorde dienst aan Stichting OpenGeo die,
met dank aan ACC ICT, ook NDOVloket.nl draait met een degelijke SLA.
Het gaat mijns zins ook niet over het gebruik van GTFS. Ik heb daar van de
week met iemand van SBB een uitgebreid gesprek over gehad. NeTEx is geen
religie en als jij alles kan doen met GTFS moet je dat vooral gebruiken.
Wij zien grote problemen met GTFS, zeker voor nieuwe vormen van openbaar
vervoer, maar ook suffe dingen als het correct representeren "je mag je
fiets buiten de spits meenemen". Daarnaast wil Google met alle liefde de
stekker uit de workarounds trekken en geeft geen optie om GBFS (tenzij je
via ITO World gaat) of GOFS aan te leveren.
> Geen nieuws wordt nou eenmaal doorgaans opgevat als goed nieuws,
> dus ik vind het oneerlijk om jarenlang stilletjes
ovapi.nl aan te bieden en
> dan vervolgens te klagen dat niemand bijdraagt wanneer daar nooit eerder
> iets over gezegd is.
Toen ik met dit project begon in 2009 had ik wel de verwachting dat er
dingen gingen gebeuren. Die zijn natuurlijk ook gebeurd. Je eigen website
is er een voorbeeld van, OVinfo, OpenTripPlanner, de treinloggers, ...
Gezien er nu een greenfield kans ligt (introductie van een nieuwe
dienstregeling standaard en straks realtime in SIRI voor alle vervoerders),
waar de kaarten opnieuw geschud worden, vind ik het ontzettend jammer dat
dit voor geen enkele partij een aanleiding was om SAMEN eens wat te doen.
--
Stefan