Offentlige OIO REST interface + ActiveResource

[Jesper Rønn-Jensen]

Først:

http://blog.overskrift.dk/2008/03/21/oio-gar-web-20-med-rest/
(tak til Dalager for at gøre mig opmærksom på linket)

Jeg har leget lidt med ActiveResource for at se om det kunne fungere
ud af boksen. Desværre er der et par afvigelser, som måske kunne
interessere nogle af jer. Her er hvad jeg har fundet

Sæt en model op til at konsumere postdistrikter

postdistrikt.rb:

class Postdistrikt < ActiveResource::Base
self.site = 'http://oiorest.dk/danmark/'
end

Rette /config/initializers/inflections.rb:
Inflector.inflections do |inflect|
inflect.irregular 'postdistrikt', 'postdistrikter'
end

Nu kan jeg i teorien gøre således fra konsollen

Postdistrikt.find(:all)
Postdistrikt.find(2300)

Problemet er så bare at OIO Rest interfacet udstiller url'erne uden
".xml" sat på, hvilket ActiveResource forventer.
Se her:

Postdistrikt.find(:all)
requester
http://oiorest.dk/danmark/postdistrikter.xml (response 404)
men sourcen ligger på
http://oiorest.dk/danmark/postdistrikter (response 200)

Postdistrikt.find(2300)
requester
http://oiorest.dk/danmark/postdistrikter/2300.xml (response 404)
men sourcen ligger på
http://oiorest.dk/danmark/postdistrikter/2300 (response 200)

Det store spørgsmål er så hvordan skal ActiveResource modificeres så
den kan konsumere en webservice som oiorest?
Jeg tænkte på, om man skulle kunne give flere options med (udover site
= '...' i modellen)
Har i nogle tanker, ideer?

PS:

For bedre at logge hvad der sker, har jeg desuden duck-typet denne fra
ActiveResource for at køre igennem en http sniffer
(i min environment.rb):
module ActiveResource
class Connection
# Creates new Net::HTTP instance for communication with
# remote service and resources.
def http
# tiljøjet proxyserver/http sniffer Fiddler på http://localhost:8888
http = Net::HTTP.new(@site.host, @site.port,
'localhost', 8888)
http.use_ssl = @site.is_a?(URI::HTTPS)
http.verify_mode = OpenSSL::SSL::VERIFY_NONE if http.use_ssl
http
end
end
end

--
___________________________________________________________

Jesper Rønn-Jensen / Capgemini Denmark
Tel. +45 3977 8220 / Mob. +45 2373 6220 / Fax +45 7011 2201
www.dk.capgemini.com / Blog http://justaddwater.dk/
jesp...@gmail.com (Private e-mail and Google Talk IM)
___________________________________________________________

[Frank Vilhelmsen]

Super interessant.

Jeg har lige et tillægsspørgsmål. Hvordan adderer man en proxy server
i activeresources?

/Franke

[Christian Dalager]

Nu har jeg ikke arbejdet med activeresource...
Men jeg faldt over RestClient som måske kunne være et alternativ til ActiveResource, selvom det ikke giver mulighed for at lave find(2300) operationer etc.

http://rest-client.heroku.com/rdoc/ (via Ruby Inside: http://www.rubyinside.com/interesting-ruby-tidbits-that-don%e2%80%99t-need-separate-posts-19-808.html)

Her er min fødeadresse f.eks.

require 'lib/rest_client'
require 'rexml/document'
include REXML

res = 'http://oiorest.dk/danmark/postdistrikter/8830/adresser?vejnavn=vr%E5vej'
resource = RestClient::Resource.new(res)
xml = resource.get
doc = Document.new(xml)
root = doc.root

puts root.elements['/adresser/adresse[husnr=24]']




/christian

2008/3/26 Jesper Rønn-Jensen <jesp...@gmail.com>:

--
Christian Dalager
Lyongade 19, 2, th
2300 København S
mob: 61 770 990
www: http://dalager.com

Navneblank?
Check http://hvadskalbarnethedde.dk

[Christian Dalager]

Når det så er sagt, så er der en løsning på dit problem her, Jesper:
http://www.quarkruby.com/2008/3/11/consume-non-rails-style-rest-apis

/chr

2008/3/26 Christian Dalager <chri...@dalager.com>:

[Jesper Rønn-Jensen]

Tak Christian.
Her er det færdige eksempel med de rettelser du har sendt mig i
separat mail. Incl. tilføjet monkey-patch fra Rails ticket 8798
(spændende læsning, forresten).
http://dev.rubyonrails.org/ticket/8798

[Christian Dalager]

Til alles forvirring...
Jeg har lavet en basal brugbar løsning, der fungerer mod oios restapi (http://oiorest.dk/danmark/)
Der er i den grad mulighed for forbedringer, se TODO i bunden.

Vedlagt er klassen ActiveOIO, der nedarver fra ActiveResource::Base.
Smid den i /lib

Nu kan du lave modellerne Postdistrikt, Sogn, Kommune og Region og lade dem nedarve fra ActiveOIO.
Eks:

class Postdistrikt < ActiveOIO   
  # smid selv noget mere i klassen hvis du vil
end

Fra en script/console:
>> Postdistrikt.find(2300)
=> #<Postdistrikt:0x2373118 @attributes={"navn"=>"København S", "adresser"=>#<Postdistrikt::Adresser:0x236fb30 @attributes={"ref"=>"http://oiorest.dk/danmark/postdistrikter/2300/adresser"}, @prefix_options={}>, "nr"=>"2300", "xmlns"=>"http://itst.dk/schemas/danmarkservice"}, @prefix_options={}>

>> Postdistrikt.find(:all)
=> // 1112 postdistrikter

TODO (
1. jeg har kun lavet inflections for de 4 typer, det skal udbygges med resten af de enkle typer fra apiet
2. associationer mellem de forskellige modeller, ala Kommune.find(1234).skoledistrikter, svarende til urlen http://oiorest.dk/danmark/kommuner/751/skoledistrikter
3. søgning, specielt adresser.
4. Unittests eller rspecs eller hvad man nu vælger. Ligenu har jeg bare fået hul igennem, så det er ikke så vildt endnu.


Jesper og jeg har talt om at lave et Google Code projekt, hvis nogen har lyst til at lege med.
På den anden side kunne det være rart at vide, hvor IT- og Telestyrelsen har tænkt sig at gå hen med det her, hvornår og under hvilke betingelser, inden man kommer for godt igang... Jeg smider lige herr Jordal en mail også, så kan det være han vil fortælle lidt mere.


/christian


PS: Kim Dalsgaard fra århusklanen pusler måske med det samme (se kommentar til http://www.version2.dk/artikel/6678




---

[Olle Jonsson]

Shit. OIO is the shit, og i Sverige har man det bare ikke sån.

Jeg har sammenfattet min svenske erfaring med at gå til den mest
oplagte udbyder af ZIP informationer: Postens websted i en screenshot
af den 80'er-agtige app de har bygget for sine brugere.

http://flickr.com/photos/olleolleolle/2366147218/

Jeg blev bare lidt mavesur over at den her ting ikke var gjort her,
undskyld den lave pH.

ciao,
Olle

PS: Meeeega-fedt med en pre-pre-release af active_oio.rb. Props!

[Jesper Rønn-Jensen]

Sådan så ligger den på google code som et projekt.

http://code.google.com/p/oiorest/

Jeg har tilføjet dalager og mig som admins... Andre der vil have commit adgang?

/Jesper

[Christian Dalager]

Sidste opfølgning indtil videre.
Spurgte Finn Jordal om planerne for OIOREST, og her er hans svar.

Hej Christian

 

Jeg er rigtig glad for at se jeres interesse i OIOREST initiativet, samt at i allerede har kode, som anvender Danmark web servicen -  fantastisk.

 

Danmark web servicens hovedformål har været at eksperimentere med at udstille offentlige data som en REST service, og dens mål er sammen med OIOREST at motivere/muliggøre at myndigheder og andre organisationer til at udstille deres offentlige data.

 

Danmark web servicens fremtid er ikke afklaret, men vil nok blive brugt fremover, som et eksempel på hvordan data kan udstilles. Dels et eksempel på design af en REST web service; dels kode eksempler i flere forskellige sprog. Der vil nok ikke være det store fokus på at opdatere og validere data.

 

Hvis i har ideer/kritik/kommentarer til servicen er i meget velkomne til at kontakte mig, og i er selvfølgelig meget velkomne til at tilmelde jer OIOREST workshoppen d. 22. april (http://oiorest.dk)

 

Mvh.

Finn

7chr


--

[Jesper Rønn-Jensen]

Et godt input til Finn Jordal herfra listen kunne være at lægge REST
url'erne tættere op ad Rails ActiveResource defaults (selvom vi nu har
vist at man kan bruge det ved at benytte vores ActiveOIO lib)

ActiveResource defaults'ne kan gøre det endnu lettere for novicer at
integrere danmarks ws'erne mod en rails app

Dvs. sikre der også er svar på
http://oiorest.dk/danmark/postdistrikter.xml og ikke kun
http://oiorest.dk/danmark/postdistrikter

samt at der er svar på
http://oiorest.dk/danmark/postdistrikter/2300.xml og ikke kun
http://oiorest.dk/danmark/postdistrikter/2300

Christian, jeg melder mig til den workshop den 22.april. Håber at du også gør :)

/Jesper

2008/3/27 Christian Dalager <chri...@dalager.com>:

--

[Jacob Atzen]

Jeg faldt lige over følgende plugin:

http://agilewebdevelopment.com/plugins/extensionless_format

"Interface with RESTful XML 

webservices that don't support the .xml extension added by ActiveResource as default."

2008/3/27 Jesper Rønn-Jensen <jesp...@gmail.com>:

--
Med venlig hilsen
- Jacob Atzen

[Finn Jordal]

Jeg har tænkt over jeres forslag med at tilføje suffikset ..xml til
url'erne og kommet frem til at det egentligt er en god ide. På samme
måde som Google Earth formatet har suffikset .kml vil .xml gøre det
mere eksplicit, hvilken mediatype der returneres. Url'er uden suffiks
vil så returnere default, som i vores tilfælde er xml.

Jeg har ændret danmark servicen til at acceptere url'er med .xml -
prøv det og lad mig høre om det opfylder jeres behov.

ReferenceUrlerne i repræsentationerne er ikke ændret, så de er stadig
uden .xml.

/Finn

On 27 Mar., 14:53, "Jesper Rønn-Jensen" <jespe...@gmail.com> wrote:
> Et godt input til Finn Jordal herfra listen kunne være at lægge REST
> url'erne tættere op ad Rails ActiveResource defaults (selvom vi nu har
> vist at man kan bruge det ved at benytte vores ActiveOIO lib)
>
> ActiveResource defaults'ne kan gøre det endnu lettere for novicer at
> integrere danmarks ws'erne mod en rails app
>

> Dvs. sikre der også er svar påhttp://oiorest.dk/danmark/postdistrikter.xmlog ikke kunhttp://oiorest.dk/danmark/postdistrikter
>
> samt at der er svar påhttp://oiorest.dk/danmark/postdistrikter/2300.xmlog ikke kunhttp://oiorest.dk/danmark/postdistrikter/2300

>
> Christian, jeg melder mig til den workshop den 22.april. Håber at du også gør :)
>
> /Jesper
>

> 2008/3/27 Christian Dalager <christ...@dalager.com>:

> > Checkhttp://hvadskalbarnethedde.dk

>
> --
> ___________________________________________________________
>
> Jesper Rønn-Jensen / Capgemini Denmark
> Tel. +45 3977 8220 / Mob. +45 2373 6220 / Fax +45 7011 2201www.dk.capgemini.com/ Bloghttp://justaddwater.dk/

> jespe...@gmail.com (Private e-mail and Google Talk IM)
> ___________________________________________________________- Skjul tekst i anførselstegn -
>
> - Vis tekst i anførselstegn -

[Jesper Rønn-Jensen]

Hej Finn.
Det lyder super! Jeg håber på din åbenhed og hurtige reaktion fra IT- Telestyrelsen med tiden kan betyde at det offentlige kan spare rigtig mange penge ved at få Ruby on Rails baserede løsninger: Det kan spare penge, mindske udviklingstid og give det offentlige muligheder for at høste de samme fordele som folk her på listen elsker: Hurtigt synlige resultater, minimal projekt overhead, mm :)

Finn Jordal:

Jeg har ændret danmark servicen til at acceptere url'er med .xml -
prøv det og lad mig høre om det opfylder jeres behov.

Mange hilsner
Jesper

--
___________________________________________________________

Jesper Rønn-Jensen / Capgemini Denmark

Tel. +45 3977 8220 / Mob. +45 2373 6220 / Fax +45 7011 2201
www.dk.capgemini.com / Blog http://justaddwater.dk/

jesp...@gmail.com (Private e-mail and Google Talk IM)
___________________________________________________________

[Frank Vilhelmsen]

Hej Finn,

Det lyder som en god løsning. Jeg har tænkt lidt over at servicerne
returnere html når man fejler. Med vilje, undskyld men jeg vil ha min
egen by.

PUT /danmark/postdistrikter/4110 HTTP/1.1
Content-Type: application/xml

<body>
<div id="header"><h1>Server Error</h1></div>
<div id="content">
<div class="content-container"><fieldset>
<h2>405 - HTTP verb used to access this page is not allowed.</h2>
…
Hvis du alligevel er følsom omkring extentions kunne fejl returneres i
korrekt format også.

31/03/08 skrev Finn Jordal <FinnJ...@gmail.com>:

[Finn Jordal]

Hej Frank

Det var ikke tilsigtet, at der returnes html, når http metoden i
requestet ikke er lovlig. Der skulle udelukkende returneres en
statuskode 405.
Jeg vil snarest se på, hvorfor web servern automatisk returnere html,
før servicekoden kan returnere det korrekte fejlresponse.

Tak for oplysningen.

Hilsen
Finn

On 31 Mar., 12:56, "Frank Vilhelmsen" <frank.vilhelm...@gmail.com>
wrote:

> Hej Finn,
>
> Det lyder som en god løsning. Jeg har tænkt lidt over at servicerne
> returnere html når man fejler. Med vilje, undskyld men jeg vil ha min
> egen by.
>
> PUT /danmark/postdistrikter/4110 HTTP/1.1
> Content-Type: application/xml
>
> <body>
> <div id="header"><h1>Server Error</h1></div>
> <div id="content">
> <div class="content-container"><fieldset>
> <h2>405 - HTTP verb used to access this page is not allowed.</h2>

> ...

> Hvis du alligevel er følsom omkring extentions kunne fejl returneres i
> korrekt format også.
>

> 31/03/08 skrev Finn Jordal <FinnJor...@gmail.com>:

>
>
>
>
>
> > Jeg har tænkt over jeres forslag med at tilføje suffikset ..xml til
> > url'erne og kommet frem til at det egentligt er en god ide. På samme
> > måde som Google Earth formatet har suffikset .kml vil .xml gøre det
> > mere eksplicit, hvilken mediatype der returneres. Url'er uden suffiks
> > vil så returnere default, som i vores tilfælde er xml.
>
> > Jeg har ændret danmark servicen til at acceptere url'er med .xml -
> > prøv det og lad mig høre om det opfylder jeres behov.
>
> > ReferenceUrlerne i repræsentationerne er ikke ændret, så de er stadig
> > uden .xml.
>
> > /Finn
>
> > On 27 Mar., 14:53, "Jesper Rønn-Jensen" <jespe...@gmail.com> wrote:
> > > Et godt input til Finn Jordal herfra listen kunne være at lægge REST
> > > url'erne tættere op ad Rails ActiveResource defaults (selvom vi nu har
> > > vist at man kan bruge det ved at benytte vores ActiveOIO lib)
>
> > > ActiveResource defaults'ne kan gøre det endnu lettere for novicer at
> > > integrere danmarks ws'erne mod en rails app
>

> > > Dvs. sikre der også er svar påhttp://oiorest.dk/danmark/postdistrikter.xmlogikke kunhttp://oiorest.dk/danmark/postdistrikter
>
> > > samt at der er svar påhttp://oiorest.dk/danmark/postdistrikter/2300.xmlogikke kunhttp://oiorest.dk/danmark/postdistrikter/2300

> > > Tel. +45 3977 8220 / Mob. +45 2373 6220 / Fax +45 7011 2201www.dk.capgemini.com/Bloghttp://justaddwater.dk/

>
> > > jespe...@gmail.com (Private e-mail and Google Talk IM)
> > > ___________________________________________________________- Skjul tekst i anførselstegn -
>

> > > - Vis tekst i anførselstegn -- Skjul tekst i anførselstegn -

[Nina Jansen]

Det ville være vildt fedt hvis xml'en også kunne indeholde geodata.
Hvis man må have lov til at stille foreslag. Når man nu snakker om
geografiske regioner, så er det ret oplagt at geotagge. Se f.eks.
Søren Johannesens markup af danske postnumre:
http://www.microformats.dk/2008/03/25/datas%c3%a6t-med-danske-postnumre-klar-til-dit-mashup-helt-kvit-og-frit/

Et restfull interface til offentlige geodata, det ville bare være
lækkert.

:-)

Nina

[Christian Dalager]

Nina, der er skam offentlige geodata i apiet.
Den hænger bare fast på adresse-entiteten, som faktisk er ganske rig:
http://oiorest.dk/danmark/adresser/97083

<adresse>
<id>97083</id>
-
<vej ref="http://oiorest.dk/danmark/kommuner/147/veje/445">
<nr>445</nr>
<navn>A.D. Jørgensens Vej</navn>
</vej>
<husnr>10</husnr>
-
<postdistrikt ref="http://oiorest.dk/danmark/postdistrikter/2000">
<nr>2000</nr>
<navn>Frederiksberg</navn>
</postdistrikt>
-
<sogn ref="http://oiorest.dk/danmark/sogne/7105">
<nr>7105</nr>
<navn>Flintholm,Frberg</navn>
</sogn>
-
<kommune ref="http://oiorest.dk/danmark/kommuner/147">
<nr>147</nr>
<navn>Frederiksberg</navn>
</kommune>
-
<skoledistrikt ref="http://oiorest.dk/danmark/kommuner/147/skoledistrikter/2">
<nr>2</nr>
<navn>Lindevangskolen</navn>
</skoledistrikt>
-
<valgdistrikt ref="http://oiorest.dk/danmark/kommuner/147/valgdistrikter/3">
<nr>3</nr>
<navn>10. Kreds, Bülowsvej</navn>
</valgdistrikt>
-
<etrs89koor>
<east>719710.771</east>
<north>6175929.193</north>
</etrs89koor>
-
<wgs84koor>
<latitude>55.679344148722</latitude>
<longitude>12.4947385834556</longitude>
</wgs84koor>
</adresse>

/christian

2008/4/3 Nina Jansen <ninaj...@gmail.com>:

[Nina Jansen]

Hej Christian

Ja, jeg kan godt se at man kan hive geoinformation ud af systemet. Jeg
må kigge på om det er noget jeg kan bruge. Men det jeg mente var om en
kommune f.eks. kunne være udstyret med en polygon, der beskriver
kommunegrænsen.

:-)

Nina

Christian Dalager wrote:
> Nina, der er skam offentlige geodata i apiet.

> Den h�nger bare fast p� adresse-entiteten, som faktisk er ganske rig:

> http://oiorest.dk/danmark/adresser/97083
>
> <adresse>
> <id>97083</id>
> -
> <vej ref="http://oiorest.dk/danmark/kommuner/147/veje/445">
> <nr>445</nr>

> <navn>A.D. J�rgensens Vej</navn>

> <navn>10. Kreds, B�lowsvej</navn>

> </valgdistrikt>
> -
> <etrs89koor>
> <east>719710.771</east>
> <north>6175929.193</north>
> </etrs89koor>
> -
> <wgs84koor>
> <latitude>55.679344148722</latitude>
> <longitude>12.4947385834556</longitude>
> </wgs84koor>
> </adresse>
>
> /christian
>
> 2008/4/3 Nina Jansen <ninaj...@gmail.com>:
>
> >

> > Det ville v�re vildt fedt hvis xml'en ogs� kunne indeholde geodata.
> > Hvis man m� have lov til at stille foreslag. N�r man nu snakker om
> > geografiske regioner, s� er det ret oplagt at geotagge. Se f.eks.
> > S�ren Johannesens markup af danske postnumre:
> >
> > http://www.microformats.dk/2008/03/25/datas%c3%a6t-med-danske-postnumre-klar-til-dit-mashup-helt-kvit-og-frit/
> >
> > Et restfull interface til offentlige geodata, det ville bare v�re
> > l�kkert.
> >
> > :-)
> >
> > Nina
> > >
> >

[Michael Aronsen]

Hov,

Det er lige det jeg har ledt efter på den webservice, har du prøvet at
lave søgninger på andet end ID via rails?

Michael

> 2008/4/3 Nina Jansen <ninajans...@gmail.com>:

>
>
>
> > Det ville være vildt fedt hvis xml'en også kunne indeholde geodata.
> > Hvis man må have lov til at stille foreslag. Når man nu snakker om
> > geografiske regioner, så er det ret oplagt at geotagge. Se f.eks.
> > Søren Johannesens markup af danske postnumre:
>

> >http://www.microformats.dk/2008/03/25/datas%c3%a6t-med-danske-postnum...

[Jesper Rønn-Jensen]

Hej Michael.
her er nyeste info fra Christian Dalager... Han videresendte til Finn Jordal fra IT+Telestyrelsen lige inden han tog på ferie.
Måske kan du finde svar på dine spm i nedenstående?

Jeg viderebringer her da den var sendt fra Christian til mig og Finn direkte:

date		Sun, Apr 6, 2008 at 5:48 PM
subject		Re: OIO REST interface
mailed-by		dalager.com

Hej Finn
Jeg sidder og roder lidt med OIOREST ruby-lib og har et designspørgsmål:
Når man laver et direkte opslag på f.eks. et skoledistrikt, er der ikke noget ref-element:
http://oiorest.dk/danmark/kommuner/390/skoledistrikter/8

Det er der ellers på listerne, og på en del af de andre entiteter er der forskellige numre, der omend navngivet lidt forskelligt giver en unik reference.

Når man skal holde styr på relationerne mellem entiteterne kunne det være praktisk at der var en ref-attribut på alle elementer, også selvom den implicit ligger i den url man finder dem fra, som i ovenstående tilfælde. Man kunne bare gøre sådan her:

<skoledistrikt ref="http://oiorest.dk/danmark/kommuner/390/skoledistrikter/8">
  <navn>Iselingen Skole</navn>
  <kommune ref="http://oiorest.dk/danmark/kommuner/390"/>
  <adresser ref="http://oiorest.dk/danmark/kommuner/390/skoledistrikter/8/adresser"/>
</skoledistrikt>


Indtil videre har jeg et fungerende ruby-library på benene, hvor man kan kravle rundt imellem de associerede/relationsbunde type og  skrive kode som

k = Kommune.find_by_name('viborg').first
skoler = k.skoler

eller

nordjylland = Region.find_by_name('Nordjylland').first
nordjyskeKommuner = nordjylland.kommuner
skoler = nordjylland.kommuner.collect{|k| k.skoler}.flatten ## finder 278 skoler i et array
skoler.last.navn ## => "Vrå Skole"

Så det begynder at ligne noget, man kan lave noget sjovt med -- nu skal adresserne bare puttes på.

Nå, men det var bare lige en blandet feedback og infomail.
Nu vil jeg tage på ferie :-)

/christian

 

2008/4/10 Michael Aronsen <michael...@gmail.com>:

>
>  Hov,
>  
>  Det er lige det jeg har ledt efter på den webservice, har du prøvet at
>  lave søgninger på andet end ID via rails?
>  
>  Michael
>  
>

--
___________________________________________________________

Jesper Rønn-Jensen / Capgemini Denmark

Tel. +45 3977 8220 / Mob. +45 2373 6220 / Fax +45 7011 2201
www.dk.capgemini.com / Blog http://justaddwater.dk/

jesp...@gmail.com (Private e-mail and Google Talk IM)
___________________________________________________________