Wijzigingen in dienstregelingen niet compleet in GTFS?

[Pim van der Toolen]

Dag allen,

Ik gebruik OpenTripPlanner met de GTFS-bron van OVApi.nl. Deze heb ik vandaag ingeladen. Echter, ik krijg best wel andere resulaten dan bijvoorbeeld 9292. De MerwedeLingeLijn tussen Dordrecht en Geldermalsen is volgens 9292 en de NS-reisplanner in tweeën geknipt door het winterweer met een verplichte overstap in Gorinchem. Echter, volgende de GTFS rijdt deze gewoon als één lijn. Wijzigingen dat deze treindienst maar eens per uur rijdt, zijn dan wel weer goed verwerkt.

Ik vraag me af:

1. Hoe kan het dat het lijkt dat de winterdienstregelingen maar gedeeltelijk door zijn gegeven in de GTFS-data?
2. Als dit verwacht gedrag is van de data, welke databronnen moet ik dan nog meer aansluiten op OTP dat dit goed verwerkt wordt? Ik weet dat er ook train- en trip-updates.pb zijn op OVApi voor real-time-updates, maar ik zou verwachten dat dit soort grote wijzigingen na afgelopen week gewoon in de dienstregeling zijn verwerkt.
   

Ik raak soms een beetje de weg kwijt in alle mogelijke databronnen in Nederland en alle reisplanner die onderling wat anders vertellen. :)

Pim

[Stefan de Konink]

Hoi Pim,

On Thursday, February 11, 2021 2:30:44 PM CET, Pim van der Toolen wrote:
> 1. Hoe kan het dat het lijkt dat de winterdienstregelingen maar

> gedeeltelijk door zijn gegeven in de GTFS-data?

Omdat ze niet gewijzigd zijn in de planning bij NS, maar door worden
gegeven in actuele data.


> 2. Als dit verwacht gedrag is van de data, welke databronnen moet ik dan

> nog meer aansluiten op OTP dat dit goed verwerkt wordt?

Het probleem lijkt te zijn dat InTraffic niet weet hoe OpenTripPlanner
onder de motorkap werkt, en welke beperkingen er in het algemeen gelden in
het GTFS ecosysteem aangaande het gebruiken van nieuwe ingelegde ritten die
niet gerelateerd zijn aan de planning. Misschien kunnen jullie de
ontbrekende functionaliteit, het toevoegen van ritten via actuele data, in
OpenTripPlanner toevoegen zodat de hele community daarvan profiteert?

--
Stefan

[Pim van der Toolen]

Zitten ze dan wel in de trainupdates.pb Stefan? Als ik naar de naamgeving kijk, zou dat juist de actuele data moeten bevatten. Zo nee, dan moeten we inderdaad misschien eens op zoek naar de juiste bron en wellicht kijken hoe we dat in OTP kunnen krijgen en vrijgeven aan de community. Dan helpt het wel als je kunt delen welke (oorspronkelijke) bron we hiervoor moeten gebruiken. :)

Maar je hebt gelijk hoor, we leren elke week meer over hoe GTFS en OTP werkt, vandaar ook de vraag uiteindelijk hier om meer kennis op te doen en waar nodig weer te delen met de community.

[Stefan de Konink]

Hoi Pim,

On Thursday, February 11, 2021 3:41:41 PM CET, Pim van der Toolen wrote:
> Zitten ze dan wel in de trainupdates.pb Stefan?

Heb je zelf al gezocht of ritnummer 307250 in de data zit die je noemt?

{
"id": "2021-02-10:IFF:ST:307250",
"tripUpdate": {
"trip": {
"tripId": "2021-02-10:IFF:ST:307250",
"startTime": "15:39:00",
"startDate": "20210211",
"scheduleRelationship": "ADDED",
"directionId": 0
},
"stopTimeUpdate": [
{
"departure": {
"delay": 175,
"time": "1613054515"
},
"stopId": "2323736", # Gorinchem
"scheduleRelationship": "SCHEDULED"
},

...

{
"arrival": {
"delay": 69,
"time": "1613055969"
},
"stopId": "2323465", # Dordrecht
"scheduleRelationship": "SCHEDULED"
}
]
}
},

> Maar je hebt gelijk hoor, we leren elke week meer over hoe GTFS en OTP
> werkt, vandaar ook de vraag uiteindelijk hier om meer kennis op te doen en
> waar nodig weer te delen met de community.

Het komt op mij (en ik sta hier niet alleen in) over dat het gruwelijk
makkelijk is om anderen jullie onderzoekswerk te laten doen. Zo werkt dit
ecosysteem niet. InTraffic verkoopt een product, daarvoor gebruiken jullie
een open source oplossing en maken jullie gebruik van een open data bron.
Iedereen kan zo'n service opzetten, maar jullie verkopen de beeld dat
jullie de kennis in huis hebben om problemen op te lossen, die jullie
klaarblijkelijk niet in huis hebben.

--
Stefan

[Pim van der Toolen]

Ha Stefan,

Ik merk dat je reactie op mijn vraag vrij vijandig op mij overkomt. Dat vind ik jammer en ik begrijp ook niet zo goed waarom. Het staat je uiteraard vrij om een mening over een bepaald bedrijf te hebben, maar mensen persoonlijk zo aanvallen lijkt mij onnodig. Ik voel me er in ieder geval niet fijn bij. Het zou fijn zijn als je hier wat op kunt letten hoe dit overkomt bij anderen. Mijn intentie was absoluut niet om 'anderen maar het uitzoekwerk te laten doen', ik vraag op een openbaar forum over openbare data (die ook commercieel gebruikt mag worden) gewoon transparant en eerlijk om wat hulp. Volgens mij is het internet daar ook voor bedoeld, om elkaar te helpen. Dit is tevens de eerste vraag die ik hier stel en afgelopen 2 jaar hebben we wel heel veel kennis al wél opgedaan en er wordt dus niet eens per week gevraagd om onze problemen maar op te lossen. Dit soort berichten komen dan ook vrij kwetsend over, ik hoop dat je je dat realiseert.

Er is al genoeg ellende in de wereld, laten we gewoon vriendelijk naar elkaar blijven. Je hoeft niet te reageren als je dat zelf niet wilt, misschien is er iemand anders die dat dan wel wilt. :)

Ik wens je in ieder geval alvast een fijn weekend.

Pim

[Erik van Heck]

Hallo Pim,

Stefan heeft in dit opzicht wel gelijk. Als je open-source spullen gebruikt, wordt er verwacht dat je ook een bijdrage aan de community levert.

En sommige zaken welke simpel "lijken", maar wel "duur" verkocht worden is niet echt community-vriendelijk ;-). Of op een andere manier iets bijdragen om andere mensen te helpen.

Ook Stefan bedoelde dit volgens mij, en ik denk niet kwetsend tegenover jou: maar wel eerlijk.

Fijn weekend!,

Erik

Op vrijdag 12 februari 2021 om 08:59:09 UTC+1 schreef p.vande...@gmail.com:

[Pim van der Toolen]

Erik, dank je bericht. Ik sta er altijd voor open om een normale discussie te voeren zonder verwijten naar elkaar, dus dan ga ik hier graag nog even op in. :)

Ik heb het idee dat jullie een beeld hebben van 'ons' (ik werk ondertussen niet eens meer bij InTraffic) dat wij dingen voor onszelf houden terwijl we dit zouden moeten delen. Ik ben benieuwd wat je concreet hiermee bedoelt en dan met name de woorden 'open source spullen gebruiken'. Wij hebben namelijk geen open source producten aangepast die wij terug moeten geven volgens de licentievoorwaarden van die producten. Het enige wat wij doen is open data gebruiken voor een reisplanner met in de basis OpenTripPlanner. OTP zelf hebben wij niét aangepast. Dus allemaal netjes waar open data én open source voor gebruikt mag worden, ook commercieel gebruik volgens de licentievoorwaarden van OTP. Vandaar dat ik een beetje verbaasd ben dat er blijkbaar een prijs is voor hulp vragen voor gebruik van open data terwijl wij niks gesloten houden wat wij zouden moeten delen.

Dat gezegd hebbende, onze reisplanner is gratis en vrijelijk te gebruiken voor consumenten en wel via meerdere kanalen: de apps TURNN, RRReis en ViaGo. Ook via de website van Keolis en Qbuzz is onze planner actief en gratis te gebruiken. Aan consumenten vragen wij dus géén geld.

Dus wat is de bijdrage aan de community die jullie verwachten? En houd er rekening mee dat alles wat we zelf aan code schrijven buiten open source licenties, uiteraard onder het eigendom van TURNN valt, maar dat lijkt me niet meer dan logisch.

[Erik van Heck]

Hoi Pim,

Ik denk niet dat het zozeer gaat wat er in de overeenkomst(en) staat. Het gaat meer om de gedachte met hoe "we" met elkaar omgaan in deze community door elkaar te helpen en daarin (op een manier) een bijdrage aan leveren. Dus buiten de juridische aspecten, gaat het meer om gevoel en principe.

Groeten,

Erik

Op vrijdag 12 februari 2021 om 10:44:23 UTC+1 schreef p.vande...@gmail.com:

[Pim van der Toolen]

Ik ben dus op zoek welke bijdrage bij kúnnen leveren. Kun je daar dan wat over zeggen? Want ik deel het gevoel en principe, maar ik weet niet zo goed wat jullie hiervan verwachten.

Om wel even mee te denken: als we hulp zouden krijgen bij de oorspronkelijke vraag om de trainupdates.pb goed in OTP te krijgen, lijkt me dat uitstekend om hier gewoon te delen. Immers, dat is gebruik van open source software waar anderen ook wat aan hebben en niet TURNN-specifieke code. Dus dat zou ik dan graag hier delen.

Dus vandaar dat ik verbaasd ben: dit is letterlijk de eerste vraag die ik hier stel en ik heb nog geen mogelijkheid gehad óm iets te delen. Dus het komt op mij over alsof er een prijs aan hangt om je eerste vraag te stellen over het gebruik van open data. Dat er dus vooraf iets gedeeld móet zijn, zonder dat hier wordt verteld wat dat dan is waardoor we alsnog in het duister tasten wat jullie precies bedoelen. En dat kan ik dan weer niet rijmen met elkaar helpen. Snap je? :)

[Erik van Heck]

Hoi Pim,

Natuurlijk kun je ook niets bijdragen aan de community als je daar geen eerdere kans voor hebt gehad. Dat is denk ik ook niet wat er bedoeld wordt.

Als je achteraf wat deelt, is dat toch ook goed! Altijd leuk. Zo helpen we elkaar, en dat is de enige boodschap denk ik.

Groeten,

Erik

Op vrijdag 12 februari 2021 om 10:55:45 UTC+1 schreef p.vande...@gmail.com:

[Pim van der Toolen]

Nou, dan delen we dezelfde mening uiteindelijk. Fijn. :)

Dan terug naar de oorspronkelijke vraag. Heel fijn om te weten dat we dus wel de goede file hebben maar dat we blijkbaar niet helemaal de boel goed in OTP krijgen. Ik denk dat we daar dan even mee moeten gaan stoeien, ik zal volgende week nog een keer gaan Googlen over hoe we de .pb goed moeten verwerken om uiteindelijk wel OTP er goed gebruik van te laten maken (ik dacht dat de huidige configuratie werkte, maar blijkbaar onvoldoende). Mochten jullie nog zin hebben om mee te denken: graag. Maar als je daar geen zin in hebt, ook prima natuurlijk. Als ik zelf wat vind en de oplossing heb, zal ik die hier gewoon delen, dan geven we op die manier wat terug aan de community.

--
Je hebt dit bericht ontvangen omdat je bent geabonneerd op een onderwerp in de groep 'openov' van Google Groepen.
Als je je wilt afmelden bij dit onderwerp, ga je naar https://groups.google.com/d/topic/openov/UqERX5E6y6c/unsubscribe.
Als je je wilt afmelden bij deze groep en alle onderwerpen van de groep, stuur je een e-mail naar openov+un...@googlegroups.com.
Ga naar https://groups.google.com/d/msgid/openov/6a3ff156-7acd-421a-970a-764ca165c187n%40googlegroups.com om deze discussie op internet te bekijken.

[Sven Boor]

Hoi Pim,

Ik heb nog even nagedacht naar aanleiding van de mailwisseling. Volgens mij is het goed te beseeffen de kritiek niet persoonlijk bedoeld maar meer op TURNNN / Intraffic (uiteindelijk is dat toch wel het zelfde bedrijf wat er achter zit toch?) gericht. In de hele keten van reizigersinformatie (zowel bij vervoerders, als in de integratie en dus ook in de afnemers kant) zijn jullie aanwezig, dan snap ik heel goed dat Stefan verwacht dat jullie eerst zelf iets meer uitzoekwerk doen voordat jullie een vraag stellen.

Binnen de openOV googlegroup zijn we gewend transparant, open en eerlijk naar elkaar te zijn. Op basis hiervan kan het noodzakelijke vertrouwen ontstaan om met elkaar samen te werken.

Het is denk ik eerst een goed idee om duidelijk te maken voor iedereen dat de GTFS die hier wordt aangeboden meer is dan ruw data doorzetten van vervoerders. Er zit in een integratie stap tussen die alle ruwe data bronnen (BISON koppelvlakken van stads/- en streekvervoerders en NS koppelvlakken) omzet in het GTFS formaat. Het is dus een gratis dienst waar heel veel partijen dankbaar gebruik van maken, maar wel zo nu en dan onderhoud vereist. Het is goed te beseffen wanneer deze dienst zou stoppen het fundament onder veel reizigersinformatie producten zou wegvallen.

In jouw originele mail geef je niet aan namens wie je de vraag stelt. Uit de daaropvolgende mails maak ik op dat je de vraag namens TURNN stelt. Vervolgens geef je aan dat alle code die jullie schrijven uiteraard onder het eigendom van TURNN valt.

Deze juridische benadering geeft mij op voorhand niet het vertrouwen om op basis van gelijkwaardigheid met elkaar samen te werken. Ik ben van mening dat er nog vele functionaliteiten (bijv. flex vervoer, toegankelijk plannen) zijn die aan OTP kunnen worden toegevoegd zitten op basis van open standaards (NeTEx) en op basis van open source.

Gezien het feit dat TURNN commerciële toepassingen bouwen op basis van GTFS kan ik mij niet voorstellen dat jullie niet weten hoe het reisinformatielandschap in Nederland er uit ziet.  Ook vraag ik mij af waarom TURNN niet meewerkt in BISON verband aan ontwikkeling en validatie van nieuwe standaarden. Alleen door standaardisatie en samenwerking kunnen we de kwaliteit van de reisinformatie in Nederland op een hoger plan brengen en reiziger over verstoringen eenduidig te informeren.

Ik werk zelf al vanaf 2014 met OTP, in OTP is het nog niet mogelijk een nieuwe rit toe te voegen, waardoor het splitsen van de treinrit Geldermalsen – Dordrecht in 2 ritten, waarbij 1 van de ritten een ander ritnummer krijgt niet mogelijk is. Door deze functionaliteit toe te voegen aan OTP 2.x (onder opensource licentie), komt deze functionaliteit voor iedereen beschikbaar.  Dit lijkt mij een meer duurzame oplossing dan eigen oplossing te realiseren door code te beschermen.  Het heeft dus niks met configuratie te maken, maar echt met ontwikkelen van nieuwe functionaliteit.

Ik ben benieuwd wat je van deze zienswijze vindt,

Groet,

Sven

Op vr 12 feb. 2021 om 11:11 schreef Pim van der Toolen <p.vande...@gmail.com>:

Je hebt dit bericht ontvangen omdat je bent geabonneerd op de groep 'openov' van Google Groepen.
Als je je wilt afmelden bij deze groep en geen e-mails van de groep meer wilt ontvangen, stuur je een e-mail naar openov+un...@googlegroups.com.
Ga naar https://groups.google.com/d/msgid/openov/CAAfOBupCNGAk7Qh%3Dp03yvbOjd91TXTZ-X_6BKoBQ1gJJoOPYvQ%40mail.gmail.com om deze discussie op internet te bekijken.

[Pim van der Toolen]

Ha Sven,

Ik zal even punt voor punt reageren.

"Ik heb nog even nagedacht naar aanleiding van de mailwisseling. Volgens mij is het goed te beseeffen de kritiek niet persoonlijk bedoeld maar meer op TURNNN / Intraffic (uiteindelijk is dat toch wel het zelfde bedrijf wat er achter zit toch?) gericht. In de hele keten van reizigersinformatie (zowel bij vervoerders, als in de integratie en dus ook in de afnemers kant) zijn jullie aanwezig, dan snap ik heel goed dat Stefan verwacht dat jullie eerst zelf iets meer uitzoekwerk doen voordat jullie een vraag stellen."

Ik denk dat ik langzaamaan begrijp wat voor historie ik hier, per ongeluk, aan heb gehaald. TURNN bestond al jarenlang als bedrijf 'BNV Mobility' en bood de app TURNN aan. Er was toen geen enkele link met InTraffic. Ook geen connectie via B.V.'s of wat dan ook. TURNN is een kleine 1,5 jaar geleden overgekocht door ICT Group (het moederbedrijf van InTraffic) en is nu een eigen losse B.V. in die groep. Enkele InTraffic-ers zijn naar deze B.V. gegaan. De werkzaamheden van InTraffic en TURNN zijn echter niet meer overlappend en daarin opereren we beide in een andere markt. Ik vertel dit om te laten zien dat TURNN een geheel losstaand bedrijf is van InTraffic en wat mensen over InTraffic vinden helemaal prima is, maar dat TURNN echt daar los van staat. ICT Group laat ieder dochterbedrijf zijn eigen ding doen en InTraffic en TURNN werken op het gebied van reisinformatie niet samen en we bieden ook een totaal andere dienstverlening. Dus alle kennis over reisinformatie gebruiken, ontsluiten en hoe InTraffic in de community ligt, staat echt los van TURNN. Dat is meteen ook een nadeel, want die kennis ligt niet bij TURNN, vandaar mijn vraag hier, op deze plek.

"Binnen de openOV googlegroup zijn we gewend transparant, open en eerlijk naar elkaar te zijn. Op basis hiervan kan het noodzakelijke vertrouwen ontstaan om met elkaar samen te werken.

[...]

In jouw originele mail geef je niet aan namens wie je de vraag stelt. Uit de daaropvolgende mails maak ik op dat je de vraag namens TURNN stelt. Vervolgens geef je aan dat alle code die jullie schrijven uiteraard onder het eigendom van TURNN valt.

Deze juridische benadering geeft mij op voorhand niet het vertrouwen om op basis van gelijkwaardigheid met elkaar samen te werken. Ik ben van mening dat er nog vele functionaliteiten (bijv. flex vervoer, toegankelijk plannen) zijn die aan OTP kunnen worden toegevoegd zitten op basis van open standaards (NeTEx) en op basis van open source."

Ik vind zelf transparant, open en eerlijk gigantisch belangrijk Sven (en anderen natuurlijk). Dus ik begrijp dat helemaal. Alleen is mijn persoonlijke mening af en toe strijdig met de mening van mijn werkgever. Het liefst zou ik in de baas z'n tijd OTP helemaal doorontwikkelen en de verbeteringen uploaden op GitHub zodat iedereen er wat aan heeft. Echter, en daarom haalde ik het vooral aan, ben ik daaraan gewoon gebonden aan wat mijn werkgever wel en niet wil. Ik schreef dat meteen op, juist in het kader van transparantie en eerlijkheid, om niet per ongeluk de verwachting te wekken dat TURNN aan OTP gaat ontwikkelen en dit netjes teruggeeft aan de markt. Ik kan mij daarvoor binnen de ICT Group heel hard voor gaan maken, maar als zij desondanks zeggen 'nee dat willen we niet', dan wil ik niet later op die belofte terugkomen en ben ik liever vanaf het begin af aan eerlijk er over. Dan heb ik liever dat we samen nadenken over wat wel kan. Zoals dat wij onze reisplanner gratis beschikbaar stellen aan iedereen in de wereld om te gebruiken via onze apps en de websites van de vervoerders. Dat dat dan closed source is, is de wereld waarin ik opereer, maar zo kunnen we de open data wel verrijken en teruggeven aan de reizigers.

"Gezien het feit dat TURNN commerciële toepassingen bouwen op basis van GTFS kan ik mij niet voorstellen dat jullie niet weten hoe het reisinformatielandschap in Nederland er uit ziet.  Ook vraag ik mij af waarom TURNN niet meewerkt in BISON verband aan ontwikkeling en validatie van nieuwe standaarden. Alleen door standaardisatie en samenwerking kunnen we de kwaliteit van de reisinformatie in Nederland op een hoger plan brengen en reiziger over verstoringen eenduidig te informeren."

Ik denk dat mijn uitleg over InTraffic / TURNN hier wat verheldert, we zijn dus losstaande bedrijven. TURNN werkt nu zeker veel met reisinformatie, onze grote blinde vlek is hoe OTP hiermee omgaat en wat wij hier mee kunnen doen en wat de beperkingen zijn. Wij willen hier graag meer kennis over opdoen, zoals je merkt. ;) Meedoen aan BISON en dergelijke is zeker iets dat we als ICT Group belangrijk vinden, daar is InTraffic voor. TURNN draagt ook zijn steentje bij door in MaaS-standaardisatiegroepen actief te zijn. Sterker nog, ik zit zelf in de TOMP-werkgroep namens TURNN om op het gebied van MaaS wat terug te geven aan de markt en deze standaard te ontwikkelen. Fun fact: Stichting Open Geo doet ook mee. Zie de namen van Stefan en mij hier genoemd staan: https://github.com/TOMP-WG/TOMP-API

Dus ik hoop dat je ziet dat ook TURNN belangrijk vindt om standaarden te onderhouden en dat wij dat op ons vlak doen en InTraffic dat op hun vlak. Daarnaast kunnen we, soms helaas, niet negeren dat een werkgever soms extra eisen stelt aan wat ik kan doen en laten en dat door daar open over te zijn, we elkaar beter kunnen begrijpen. Ik ben ook blij met je inhoudelijke reacties hier. :)

"Ik werk zelf al vanaf 2014 met OTP, in OTP is het nog niet mogelijk een nieuwe rit toe te voegen, waardoor het splitsen van de treinrit Geldermalsen – Dordrecht in 2 ritten, waarbij 1 van de ritten een ander ritnummer krijgt niet mogelijk is. Door deze functionaliteit toe te voegen aan OTP 2.x (onder opensource licentie), komt deze functionaliteit voor iedereen beschikbaar.  Dit lijkt mij een meer duurzame oplossing dan eigen oplossing te realiseren door code te beschermen.  Het heeft dus niks met configuratie te maken, maar echt met ontwikkelen van nieuwe functionaliteit."

Thanks, dit is hele nuttige informatie! Ik ben naar aanleiding van dit bericht nog even gaan Googlen over welke berichten wel en niet ondersteund worden maar kon geen goed lijstje vinden. Uiteraard kan ik in de code kijken, maar als niet-developer is dat voorlopig even een nog te nemen stap. ;)

Overigens is dit wel een goede reden om binnen TURNN / ICT Group eens te gaan polsen wat misschien wél de mogelijkheden zijn om open source software te gaan aanpassen en weer terug te geven aan de markt. Want we zijn nu afhankelijk van OTP voor een stukje dienstverlening en daar willen we steeds meer mee gaan doen. Dus ik ben blij dat jij als OTP-expert daar wat over kan zeggen, misschien dat je open staat om een keer verder te praten over de voor jou bekende limitaties en mogelijkheden van OTP?

"Ik ben benieuwd wat je van deze zienswijze vindt"

Ik ben het echt wel met je eens, ik houd van een fatsoenlijke discussie (zoals ik die nu met jou kan hebben) op inhoud en dan kan je elkaar vinden. En als je het niet met elkaar eens bent, ook dikke prima, dan kun je dat gewoon aangeven en kan de andere partij iets op een andere manier op proberen te lossen. :) Dus dank voor je reacties voor zover!

Groeten,

Pim