Data delen met IPFS

[Stefan de Konink]

Goedenavond,


Recent was er weer eens een nieuwe dataset voor luchtfoto's beschikbaar,
250GB serieuze hoeveelheden data dus, waar meer mensen in geïnteresseerd
zijn, maar zou je dat dan als 1 partij moeten hosten? Ik ben van mening van
niet, als je open data gratis krijgt, mag je als gebruiker ook wel wat
bijdragen aan de distributie. Binnen openOV zitten we nog niet op die
hoeveelheden, al downloaden veel partijen dagelijks toch een GTFS bestand
van zo'n 250MB, maar ik denk dat het wel interessant is om onze data op
andere manieren aan te bieden zodat *iedereen* profiteert.

Ik ben gisteren eens gaan kijken wat voor opties zijn om data
gedistribueerd aan te bieden. IPFS is een open source techniek waarbij op
basis van inhoud een bestand kan worden geidentificeerd en verspreid.

Een voorbeeld is
https://ipfs.io/ipfs/QmX4NVnUysebABRxyTgA3xyGoW1VGSPRpdB12RRjb2ac1d

Stel dat je geinteresseerd bent in dit bestand wordt het naar je
toegehaald, in een cache geplaatst en mocht je buurman het bestand ook
willen gebruiken komt het niet alleen bij openOV vandaan, maar ook bij jou.
Handig als je nog 5 servers hebt draaien waar je hetzelfde bestand ook
gebruikt. Het mes snijdt aan veel kanten. Een andere grappige toepassing is
het direct kunnen gebruiken van een bestand. Zeker met NeTEx en .xml.gz
bestanden, zou je binnen ipfs directe operaties kunnen uitvoeren.

ipfs cat QmUyEzjFtnDxWaSpVUt5x96NZgE43Qc3E9gK7NRbAcSH2c | xmllint - | less


Binnen IPFS wijzigt de URI als de inhoud van het bestand verandert. Binnen
IPFS bestaat IPNS, een systeem dat een stabiele link maakt voor bestanden
die vaak wijzigen. Het werkt analoog aan het downloaden van
gtfs-openov-nl.zip terwijl je onder de motorkap eigenlijk
NL-OPENOV-20210417-gtfs.zip download. Dus we kunnen een IPNS link updaten,
iedere keer als er een bestand of map wijzigt. Daarnaast is er IPLD...
https://docs.ipld.io/#what-is-ipld

Mochten er mensen zijn die mee willen denken over de beste manier om een
map met dienstregelingen te delen of experimenteren met ipfs-cluster, ipld,
etc. hoor ik dat natuurlijk graag :)


--
Stefan

[Thomas ten Cate]

Heb je overwogen om het op de blockchain te zetten? ;)

IPFS ken ik niet, maar het klinkt best tof.

Er is ook BitTorrent natuurlijk. Voordeel is wellicht dat het bekender is. Veel BitTorrent clients geven bovendien de mogelijkheid om bandbreedte up en down afzonderlijk te beperken, maar misschien kan dat met IPFS ook wel.

--
Je hebt dit bericht ontvangen, omdat je je hebt aangemeld bij de groep 'openov' van Google Groepen.
Als je je wilt afmelden bij deze groep en geen e-mails van de groep meer wilt ontvangen, stuur je een e-mail naar openov+un...@googlegroups.com.
Ga naar https://groups.google.com/d/msgid/openov/8a7c3316-e435-419b-867d-b0db7bed243a%40konink.de om deze discussie op het internet te bekijken.

[Stefan de Konink]

On Sunday, April 18, 2021 9:31:55 AM CEST, Thomas ten Cate wrote:
> Heb je overwogen om het op de blockchain te zetten? ;)

Eigenlijk niet omdat ik met het naïeve beeld leef dat je de hele blockchain
moet hebben en dat genoeg mensen hier maar geïnteresseerd zijn in de
laatste status.

> IPFS ken ik niet, maar het klinkt best tof.
>
> Er is ook BitTorrent natuurlijk. Voordeel is wellicht dat het bekender is.
> Veel BitTorrent clients geven bovendien de mogelijkheid om bandbreedte up
> en down afzonderlijk te beperken, maar misschien kan dat met IPFS ook wel.

Mijn gedachte rond die luchtfoto's begon ook met "waarom gebruiken we hier
geen bittorrent voor?" Maar ik denk dat voor Bittorrent service discovery
eenzelfde probleem is. Je moet iets uitwisselen waarin magnet linkjes
staan. Terwijl ik eigenlijk wil uitwisselen "dit is de laatste status van
de actuele databestanden die je vanaf nu nodig hebt" of "dit is de laatste
GTFS" het IPNS of IPLD gedeelte.

Van IPFS vind ik het grappig dat je een hybride variant kunt draaien. Een
gateway voor mensen die een IPFS hebben (daar lekker ratelimiten ;)
waardoor de IPFS gebruikers eerste klas zitten. Maar ik denk dat we wel een
handig download tooltje nodig hebben dat iedereen begrijpt. Er zijn genoeg
bindings, dus even een Python client maken hoeft niet lastig te zijn.
Direct NeTEx integreren en iedereen wil het gebruiken ;)

--
Stefan

[Thomas ten Cate]

Magnet linkjes zijn optioneel. Je zou op de huidige ftp-server gewoon de .torrent bestanden kunnen hosten, met de nieuwste gesymlinkt net als nu, en je eigen tracker draaien. Kun je ook mooi op een dashboard zien hoe veel seeders/leechers er zijn van elk bestand. Maar misschien kan dat met IPFS ook hoor.

Blockchain was trouwens maar een grapje. Het is zeker niet wenselijk, zelfs al zou het technisch haalbaar zijn.

--
Je hebt dit bericht ontvangen, omdat je je hebt aangemeld bij de groep 'openov' van Google Groepen.
Als je je wilt afmelden bij deze groep en geen e-mails van de groep meer wilt ontvangen, stuur je een e-mail naar openov+un...@googlegroups.com.

Ga naar https://groups.google.com/d/msgid/openov/408de0ea-f50d-4a0f-8f85-fd310d2241ee%40konink.de om deze discussie op het internet te bekijken.

[Adriaan]

Interessant concept dat IPFS/IPNS/IPLD! Zoals je ook aan Thomas aangeeft lost het ook de voor deze toepassing belangrijkst tekortkoming van BitTorrent op: het niet kunnen aanpassen van een bestaande torrent.

'Moreel' heb je volkomen gelijk, maar praktisch zie ik wel complexiteit. Om bij Beeldmateriaal te blijven: centraal beheerde computers. Mijn inschatting is dat verbluffend veel open (geo)data direct op de desktop in ArcGIS gaat. FileZilla kan er bij de corporate ICT nog wel vanaf, maar een BitTorrent client is al spannend (wat gaan mensen daar mee doen, aansprakelijkheid, etc.), laat staan een exotische IPFS client. Daarnaast moeten we de uplink van een kantoorgebouw niet overschatten, uiteindelijk is dat vaak maar een paar megabit per medewerker. Dit gaat dus vooral werken voor centraal ingewonnen data, in een serieus datacenter, waarbij bij voorkeur niet per GB afgerekend wordt. En eerlijk is eerlijk, ik weet ook niet of ik er op zit te wachten om de data via BitTorrent terug te leveren, het wispelturige karakter van veel open verbindingen met soms weinig data laat mogelijk wel wat wenkbrauwen fronsen. Daarnaast heb ook ik de bulk, originele data niet opgeslagen in een datacenter. Opvallend genoeg kiezen andere partijen, zoals Copernicus SciHub, ook niet voor zo'n oplossing, terwijl zij in 2019 al een dagelijks datavolume van 214 TB hadden. Hoewel het geen oplossing is voor de dagelijkse GTFS downloads waar het OpenOV mee te maken krijgt, zie ik voor grote publicaties zoals Beeldmateriaal of AHN4 nog het meest in BitTorrent met WebSeed, waarbij een parallel pad bestaat dat vooral bij de initiële lancering sneller en daarmee aantrekkelijker zal zijn, terwijl publicatie op lange termijn geborgd is door de webseed.

Op zondag 18 april 2021 om 00:19:57 UTC+2 schreef ste...@konink.de:

[Herman Philips]

Je zou je ipfs ff kunnen uitzetten en vervolgens op je voorbeeld link kunnen drukken en vervolgens kunnen kijken als de link het doe.

Ik denk dat het delen niet zo probleem is .

Het ipns voor elkaar krijgen dat is je grote zorg denk ik.

En waarmee kun je die tekstbestanden vervolgens mee openen? Dat was me nog niet geheel duidelijk. 

Een app? of met met je browser?

Op zondag 18 april 2021 om 00:19:57 UTC+2 schreef ste...@konink.de:

Goedenavond,

[Herman Philips]

https://ipfs.io/ipfs is niet zo snel dacht ik. Probeer eens met een andere gateway.

Op vrijdag 23 april 2021 om 12:26:01 UTC+2 schreef Herman Philips:

[Stefan de Konink]

On Friday, April 23, 2021 1:36:43 PM CEST, Herman Philips wrote:
> https://ipfs.io/ipfs is niet zo snel dacht ik. Probeer eens met een andere
> gateway.

Het plan is een ipfs gateway te draaien die met Gateway.NoFetch. Dan kunnen
alle bestanden die in de gateway staan (pinned) geleverd worden, maar het
is geen open proxy voor de rest van de wereld.

> Je zou je ipfs ff kunnen uitzetten en vervolgens op je voorbeeld link
> kunnen drukken en vervolgens kunnen kijken als de link het doe.
> Ik denk dat het delen niet zo probleem is .
> Het ipns voor elkaar krijgen dat is je grote zorg denk ik.

IPNS was op zich triviaal. Je registreert een sleutel, en je gaat die
sleutel iedere keer bijwerken. Bijvoorbeeld als de map is aangepast. Wat
wel weer interessant is of je een IPFS pubsub (ja ze werken daar ook met
die dingen) kunt gebruiken om notificaties te krijgen dat een IPNS link is
gewijzigd. Het alternatief is 'polling'. Polling zou ook wel kunnen werken,
maar lelijk :)

> En waarmee kun je die tekstbestanden vervolgens mee openen? Dat was me nog
> niet geheel duidelijk.
> Een app? of met met je browser?

Het zijn gewoon bestanden, dus in principe in een willekeurige applicatie
die bestanden kan openen. Het ging me er meer om dat we onze
dienstregelingen op een andere manier kunnen distribueren.

--
Stefan

[Herman Philips]

Dat is je gelukt

Had het bestand ook uitgepakt en was 939 mb groot.
Ik wil het project wel verder volgen en waar het kan zal ik mijn bijdrage aanleveren.

Ik hoor het wel van je.

Op vrijdag 23 april 2021 om 14:33:16 UTC+2 schreef ste...@konink.de:

[Herman Philips]

>  Het plan is een ipfs gateway te draaien die met Gateway.NoFetch

Oke dit kun je zo veranderen in de config. Dan wordt je ipfs lokaal. in combinatie met swarm.key ?

Als ik het goed begrepen heb kun je dit swarm.key bestand dan delen met andere mensen die je erbij wilt hebben.

Op vrijdag 23 april 2021 om 15:05:26 UTC+2 schreef Herman Philips:

[Herman Philips]

Onlangs is er een nieuwe update van  luchtfoto's/onderwaterfoto`s geweest. [  QmbsfjJ6dukf9YhTUPYmqJn5iP9pSne5SCqr3CiCnxU9Sy ] of (  bafybeigjdilmsgpcbcgmjzm5ac3oibytqr3bg3fbhni5bm5xuv7ncn7tbi ) .

Wat mij interesseert is de techniek achter ipfs. Hoe dit in elkaar zit en wat de mogelijkheden zijn. Ik ben hierin vrij nieuw zeg maar. Dus het maakt me niet uit of het over luchtfoto`s gaat of onderwaterfoto`s.

Ik was zomaar aan het kijken op de zoekmachine en zag dat er hele grote vissen waren die ook van plan zijn op hun updates via ipfs wilden verspreiden wereldwijd in de toekomst.

Ondertussen heb ik met succes de swarm.key gemaakt.

Elke week leert ik zodoende bij. Hopelijk blijft die ene vogel weg. Zodat het idee/project onder ons blijft. 

Fijne dag vandaag.

P.S hopelijk kan iedereen een beetje vinden in deze tekst.

Op maandag 26 april 2021 om 19:17:17 UTC+2 schreef Herman Philips:

[Stefan de Konink]

On Wednesday, April 28, 2021 9:40:53 AM CEST, Herman Philips wrote:
> Elke week leert ik zodoende bij. Hopelijk blijft die ene vogel
> weg. Zodat het idee/project onder ons blijft.

Welke vogel?

--
Stefan

[Herman Philips]

De raaf in het algemeen . Niemand specifiek.

In het verleden wat meegemaakt. Maar dat is niet van toepassing hier.

Op woensdag 28 april 2021 om 09:59:10 UTC+2 schreef ste...@konink.de:

[Herman Philips]

Ben zomaar aan kijken wat betreft de notificatie naar iemand toe.

Het werkt wel ja . Helaas is het alleen beschikbaar voor de android telefoon.

Als je het belletje (linksboven) naar beneden haalt en je klikt erop gaat die al automatisch downloaden.

Je kan ook gewoon in de app het bericht openen zie foto.

(Dus even op letten met je databundel van je telefoon ) beter is om het op wifi te zetten dan.

Ik hoef alleen je id van 9 letters te hebben om een bericht naar je toe te zenden.

Helemaal mooi zou het zijn dat ipns helemaal goed werkt.

Hoeft ik het bericht niet handmatig te veranderen.

Dan is 1 druk op de knop en bericht is verzonden.

Hopend dat het een beetje duidelijk is.

Op woensdag 28 april 2021 om 10:10:47 UTC+2 schreef Herman Philips:

[Stefan de Konink]

Hoi Herman,

Hoe heb je dit precies opgezet? Want ik ga er vanuit dat je of op een IPNS
aan het luisteren bent, of pollt.

Stefan

[Herman Philips]

Het is eigenlijk vrij simpel.

Het is een extern gebeuren.

De ontvangers moeten gewoon een appje downloaden uit de google play store.

https://play.google.com/store/apps/details?id=com.mrivan.wirepusher

Na het installeren krijg je een code van 9 letters zien.

Met die code ga je verwerken in html in een iframe.

Voor iedere code maak je een aparte iframe aan in deze html.

Wil je het bericht verzenden klik je gewoon op het html bestand dat je gemaakt heb en de berichten worden verzonden.

Ongetwijfeld kun je deze iframes ook ergens anders toepassen. (niet naar gekeken.)

meer info: https://wirepusher.com/

Op vrijdag 30 april 2021 om 14:05:45 UTC+2 schreef ste...@konink.de:

[Stefan de Konink]

Dus WirePusher weet van de IPNS naam, en die regelt het in de achtergrond?

Stefan

[Herman Philips]

Ja je zet gewoon de IPFS link in je html script.

IPNS krijg ik nog niet voor elkaar.

De sleutel KR..................... kan ik niet naar QM.................... koppelen in CLI.

Verders lukt het me wel pinnen en Published to kr ...........sleutel

Maar dan moet je toch met een Qm............................... CID (IPNS) op internet kunnen delen? of heb ik dit verkeerd gedacht?

Op vrijdag 30 april 2021 om 14:53:25 UTC+2 schreef ste...@konink.de:

[Herman Philips]

Beste mensen,

Om vervuiling van dit draadje te voorkomen heb ik een jamboard aangemaakt elders.

https://jamboard.google.com/d/1sjIC9wGgD7HTRabcok57QpK7rYP-1o7DZ9__scZMuPM/viewer?f=0

Hierin kun je push-id plaatsen door het bericht te bewerken.

Ik denk dat we al op de goede weg zijn. In principe is het project/idee al een beetje geslaagd.

Als er een update is krijgen de mensen een melding waarop men de update binnen kunnen halen.

Om terug te komen op het onderwerp.

Ik denk dat dit een zeer goede alternatief is om je data te delen met je klanten.

Vooruit kijkend op de Grote Vissen. Ja we zijn er klaar voor om dit verhaal tot succes te brengen.

we = hier de aanwezige.

Herman

Op vrijdag 30 april 2021 om 15:13:31 UTC+2 schreef Herman Philips:

[Herman Philips]

Ook is het niet de bedoeling om hier op dit draadje de nieuwe updates te vermelden met ipfs?

Mocht het jullie op prijs stellen dan hoor ik dat graag van jullie.

Herman

Op zaterdag 1 mei 2021 om 09:04:55 UTC+2 schreef Herman Philips:

[Stefan de Konink]

Ik heb ook nog een experimentele feature ontvangen:

<https://github.com/ipfs/go-ipfs/blob/master/docs/experimental-features.md#ipfs-filestore>

Hiermee is het niet nodig om de bestanden "twee keer" op hetzelfde systeem
te hebben.

On Saturday, May 1, 2021 12:22:16 PM CEST, Herman Philips wrote:
> Ook is het niet de bedoeling om hier op dit draadje de nieuwe updates te
> vermelden met ipfs?
> Mocht het jullie op prijs stellen dan hoor ik dat graag van jullie.
>
> Herman
>
> Op zaterdag 1 mei 2021 om 09:04:55 UTC+2 schreef Herman Philips:
>
>> Beste mensen,
>>
>> Om vervuiling van dit draadje te voorkomen heb ik een jamboard aangemaakt
>> elders.
>>
>> https://jamboard.google.com/d/1sjIC9wGgD7HTRabcok57QpK7rYP-1o7DZ9__scZMuPM/viewer?f=0

>> Hierin kun je push-id plaatsen door het bericht te bewerken. ...
>

--
Stefan

[Stefan de Konink]

Ik denk vooral dat het van belang is onze eigen gateway op te zetten, zodat
we het netwerk niet belasten voor onze eigen data.

--
Stefan

[Herman Philips]

Goedenmorgen,

Ja klopt dat is het beste, Maar hoe komen we aan onze eigen gateway?

Zat ook op beaker browser te kijken. Maar ik denk dat dit geen optie is. Veel te ingewikkeld en het is geen http maar het begin met hyper://.....

Dit is een browser waar je vanaf je computer bestanden kunnen delen met andere. Je moet je browser open laten staan op dit te doen.

Ook kun je in je browser webpagina en andere dingen doen. Voor mij is het ook geheel nieuw. ben er een uurtje mee bezig geweest.

Je moet wel een stukje software installeren.

ik had ook nog iets op google jamboard gezet hierover.

Ik weet ook niet of er iemand verbinding kan maken met mijn bestanden.

Het is allemaal nog An Experimental Peer-to-Peer Web Browser.

Op zondag 2 mei 2021 om 14:29:26 UTC+2 schreef ste...@konink.de:

[Stefan de Konink]

On Friday, May 7, 2021 11:26:56 AM CEST, Herman Philips wrote:
> Ja klopt dat is het beste, Maar hoe komen we aan onze eigen gateway?

Installeren (lees: configureren) op ons servertje, en waarschijnlijk is de
DNS CNAME route het handigste om te nemen. Maar specifiek dat stukje moet
ik nog even uitzoeken. Het gaat er om dat de IPFS gateway daarmee direct de
IPFS variant op pakt, heb je geen IPFS, dan ga je via de HTTP-gateway.

--
Stefan