moissonage de geOrchestra par data.gouv

[Landry Breuil]

Bonjour,

suite à ma présentation au geocom sur le sujet et d'autres discussions
connexes, je me suis rendu compte qu'il était en fait déjà possible de
se faire moissonner en l'état par data.gouv avec un geonetwork 4.2.2 (la
version présente dans geOrchestra 23.0) car cette version inclut
https://github.com/geonetwork/core-geonetwork/pull/6635

il 'suffit' de configurer dans l'interface admin de data.gouv un
moissonneur de type csw-dcat et de le faire pointer vers son endpoint csw.

ex avec les données opendata du craig, en test sur
https://demo.data.gouv.fr/fr/users/landry-breuil/

le résultat n'est pas parfait, est en cours d'amélioration via
https://github.com/georchestra/geonetwork/pull/288 mais c'est déjà
'mieux que rien'.. donc si d'autres veulent tester sans attendre la maj
en GN 4.2.8, n'hésitez pas!

et si vous voulez bidouiller du XSLT pour voir la différence que
donnerait les améliorations en cours avec vos MD/moissonages, récupérez
https://github.com/landryb/geonetwork/raw/wip/csw-dcat/schemas/iso19139/src/main/plugin/iso19139/layout/tpl-rdf.xsl,
remplacez config/schema_plugins/iso19139/layout/tpl-rdf.xsl dans votre
datadir geonetwork, redémarrez la webapp correspondante... et jouez au
jeu des 7 erreurs/des 10 coches vertes :)

--
Landry Breuil

[FABRY Vincent]

Merci Landry.

Est-ce que tu comprends pourquoi quand on clique sur "Voir la source originale" (côté data.gouv, c'est censé renvoyer vers la fiche originale dans geonetwork) ça renvoie sur une http 500 ? ça fait pareil chez nous.
Vincent


-----Message d'origine-----
De : georc...@googlegroups.com <georc...@googlegroups.com> De la part de Landry Breuil
Envoyé : lundi 24 juin 2024 12:27
À : georchestra <georc...@googlegroups.com>
Objet : [georchestra] moissonage de geOrchestra par data.gouv

Bonjour,

suite à ma présentation au geocom sur le sujet et d'autres discussions connexes, je me suis rendu compte qu'il était en fait déjà possible de se faire moissonner en l'état par data.gouv avec un geonetwork 4.2.2 (la version présente dans geOrchestra 23.0) car cette version inclut

https://antispam.hautsdefrance.fr/securelink/?url=https://github.com&key=eyJsYW5nIjoiRlIiLCJ1cmwiOiJodHRwczovL2dpdGh1Yi5jb20vZ2VvbmV0d29yay9jb3JlLWdlb25ldHdvcmsvcHVsbC82NjM1IiwidG9rZW4iOiJnQUFBQUFCbWVVbnBHd2MxS2s5YVk1WE94QTFzNzFMRThPUUFPOGlXaUFCSDRUbmhoSGVoTFJURGRiWVBzZ3VvNlZ6VU56cVJWWjBjZjROdmJjajNPbTZ5TGFyTVE2YUVGQm9URzZkSTZEdThlMFZVb05vVzdpNnRJenFNZk5JMmJXR2g2M2kyTkpyWFRyRXByZXlZajdFeDhJQUY4T0VZQmYxX0s5NGZTSXZBbmRYY1pRVFFFVDlmTFpvUnJzU3JvSjQ0U2JpZGN3Vlc4ZlppQUFrUTBUZG53V2l2UjRpVWV2WWpMSVgxeGc3VG5HUmY3ZTBjTWJnVS1fdU1YSjZNMGwyZnBNMFFJc3JjY1JOTDVZSU1OazNJWEFHTlV3VFBEQmhrZ2VkamtNemJrUUVLMl9rdVNSM251STlCanAtcWVmZkdhaktTWTdwQiJ9

il 'suffit' de configurer dans l'interface admin de data.gouv un moissonneur de type csw-dcat et de le faire pointer vers son endpoint csw.

ex avec les données opendata du craig, en test sur

https://antispam.hautsdefrance.fr/securelink/?url=https://demo.data.gouv.fr&key=eyJsYW5nIjoiRlIiLCJ1cmwiOiJodHRwczovL2RlbW8uZGF0YS5nb3V2LmZyL2ZyL3VzZXJzL2xhbmRyeS1icmV1aWwvIiwidG9rZW4iOiJnQUFBQUFCbWVVbnA1MWw0aDV0MWtGY3RLMXVZYzl2UGRWMUF4X2Zac2ZCSWx4VFVIUVU4eUJ4Z3pXTDU3cjZ6Wi0wWG1xdTR3Y1lGN0ZtSWQ2YU16UmlEVVFSbm5DMVZtdjJJMk9hYzdoZWFhVWdFRDIzQlFza0ZmVUctN0o1Y1lhUmc3cWlDRDhxOG5sMmp5YkY2RldwR3ZjYmVYcS0tX3BQU2xOelJlUlVwUG5FUzJmcWRVRW1TMlRIeHE1MGl5ZmZCc2dDcjBEYjNGR285aHZWbjh4Zks4Y2lRY2dsTU9JenZHNDhzc3lsRDk5Q3gzd0ViZTdYU0R6TUpGempzV1hwTmlTTkxBdUs4b1JWOGp0b0VGbjBoWC1GRFZiMzZnaHB6TzJUMElwODlJRUZ4VmJtMXNid3czYXpjZ2Q2NFBBX1NjMkZZdm9kaSJ9

le résultat n'est pas parfait, est en cours d'amélioration via https://antispam.hautsdefrance.fr/securelink/?url=https://github.com&key=eyJsYW5nIjoiRlIiLCJ1cmwiOiJodHRwczovL2dpdGh1Yi5jb20vZ2VvcmNoZXN0cmEvZ2VvbmV0d29yay9wdWxsLzI4OCIsInRva2VuIjoiZ0FBQUFBQm1lVW5wVjlWYWhGYmt6VHdNREZhZzJhYVIyTjlZbkdkQ3V5OUdJUW9BYTFJcHJlenVzTlBDdDhONmVDZ1VTbWhESG43UFNLdkZBTi1ORndVYkcxUXpYamRGWFREanFJS092V3M1d3h2S1JoQ3NNZUtuT3ZVdWo4UjdsRlNVdEZzX29ZT1RWMFBvNXpWRTdKQ2V2RHJTaVItVnE0alVqNkFkSWhnVnhWZEZldm5SUnRiWlpTbFlLczUtdUxINF8yRUdLaVRoUEJtNnB0Z2RzVDlHeUE2dF8yTVZudzljVEhPMkdUVFVXRXJjcnp4T1hKbWFQbFd2dHhUTWR2VXJ4X1UzZUJGTWVOUDAzcFd1QkRoNmFRRHlST1JQRlpmTkxPNVVqcEZ1RHkwYnh0cnFta2tlbGRESTRtbzlWRDVqdnNtdEFNT3oifQ== mais c'est déjà 'mieux que rien'.. donc si d'autres veulent tester sans attendre la maj en GN 4.2.8, n'hésitez pas!

et si vous voulez bidouiller du XSLT pour voir la différence que donnerait les améliorations en cours avec vos MD/moissonages, récupérez https://antispam.hautsdefrance.fr/securelink/?url=https://github.com&key=eyJsYW5nIjoiRlIiLCJ1cmwiOiJodHRwczovL2dpdGh1Yi5jb20vbGFuZHJ5Yi9nZW9uZXR3b3JrL3Jhdy93aXAvY3N3LWRjYXQvc2NoZW1hcy9pc28xOTEzOS9zcmMvbWFpbi9wbHVnaW4vaXNvMTkxMzkvbGF5b3V0L3RwbC1yZGYueHNsIiwidG9rZW4iOiJnQUFBQUFCbWVVbnA3V2pSWkdaMC12Smw4YmRoeXZLbGNGVXF5SHNISnZEQmt1SUdvTzhzcGtOOHllQ0I1LW1Bd1FEZXdNN0xWQmdLckZBZVltc3Jvb2ZxRldmQjRUcVQ3M3AzR1J2UERMR3FfYU41aElRdWg5SjFISTlERUdNdWw3cjlJVUZ4U1FkbS15RXNPUm1DLWFybHJ6NldIQk9SMGFmVThvLVZCcF9WZzNZMHladlBPXzJ4M3JwSy1HX1ZTdEQ4YXlsSTRGakxTUkM2c0VVb1Fpb1BGVUoxYXpQNjJuZkhBbFNOcy0wbkVYZ3NGbV93UTllcC1ReFlPUzRGbWVBNDdyUEp1Q3dJNTdyenRfQ3NncHZXdTRFaVY4Mk9XNkd3aHFWMk1Ta1BlUnczUGY4U25PbTRiMUZVa1JWYUJEdE9yRVl4WjhzVSJ9,

remplacez config/schema_plugins/iso19139/layout/tpl-rdf.xsl dans votre datadir geonetwork, redémarrez la webapp correspondante... et jouez au jeu des 7 erreurs/des 10 coches vertes :)

--
Landry Breuil

--
--
Vous avez reçu ce message, car vous êtes abonné au groupe Groupe "georchestra" georc...@googlegroups.com voir https://antispam.hautsdefrance.fr/securelink/?url=http://groups.google.fr&key=eyJsYW5nIjoiRlIiLCJ1cmwiOiJodHRwOi8vZ3JvdXBzLmdvb2dsZS5mci9ncm91cC9nZW9yY2hlc3RyYSIsInRva2VuIjoiZ0FBQUFBQm1lVW5wVlFaLXlvNElYZEthWHpnbzhzdWQtWko2SzNmcWFrYlhZUmZ5aHA4ekpWMndWcF9FWmplckpXODdGM281UG1vWTNnT01icE1EQ2xET014SXVqMkUzMzBpVTVzTGJUSTZ6MnNiV0RjbUUzLVpSVU1sUnhhM2lQQ2N0ZzN1dnhyTW95a1dXREdsZ0MtOU1IVHJBampzZzBOUkR0YWpteVZWbGxjV3lRQlpCamVQTFBCOTlHZGFzSWlpaEFfcmhCaXBPV0FHZHdUZlp2LTh3Mjc3aEFlbmhGMzM0RDZuSThwbjd4RzFrak04MUNCRHNraVpoRHFiVVlPTm5uWGRZeTIxaGhKajM1bGdkUnZzVVlvYVlVb3BIX05LUDMzdHFrOW9iRUpjVm9uZ1NrWjN0aHpGNVJ3cEdyQktmakhaSHd3Ml8ifQ==

Site web : https://antispam.hautsdefrance.fr/securelink/?url=http://www.georchestra.org&key=eyJsYW5nIjoiRlIiLCJ1cmwiOiJodHRwOi8vd3d3Lmdlb3JjaGVzdHJhLm9yZyIsInRva2VuIjoiZ0FBQUFBQm1lVW5wSVBJS0NuMFFhLXV5enN2UkVMOV9sbWpSelVMaWl5a0VZSlZjQWNidUZoMmFmd2phaVN6Y095QXA2d1NUdEpHQUMxMWVZZmYzNGZ1ZGpVbkVjdVIxOWxXdEVqRXVxOWlpX0F0bzdsRF95YzZXMzA3N29FV0dsUzZUMEZZaHFwaEF0WTJvT0RoeEFOVk91RlRhUHMydlRIUkFuTHd2SkdHTmE0SzF0bUVnOU1ib3VSWGVEbXRLZW5PTEtOa3U4clQ5eXdDZlBoQkRza2c5QVVSd3Z3MVpCWlJXT3dyT1NaMmFGV1B5YWhTN19VbTFqZDdBWTRDbFRobXAzUzBmSWl2b1I5MHRRd18zc1F4WGxMdFc0dW1NbFJEU004ZlBFWnhndFRad0Vyb2lHaURQVHpsdGVLbFBOYXI4eUZMb1VJRzMifQ==

---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes georchestra.
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse georchestra...@googlegroups.com.
Cette discussion peut être lue sur le Web à l'adresse https://antispam.hautsdefrance.fr/securelink/?url=https://groups.google.com&key=eyJsYW5nIjoiRlIiLCJ1cmwiOiJodHRwczovL2dyb3Vwcy5nb29nbGUuY29tL2QvbXNnaWQvZ2VvcmNoZXN0cmEvZmQyODQ0NzQtZjQxNS00M2I0LWEwMTQtMTk1ZjQ4NWUyNTg3JTQwY3JhaWcuZnIiLCJ0b2tlbiI6ImdBQUFBQUJtZVVucDU3bFQ0TmxHckwwbFNpbWJheENOYmlWOXl2cWVEb0preS1Cckd3cDE1WTFHVWNtenB0RTdCLTB4aDEyOThqR01Fa3YyWGRWWTdtN2I4UFF3dUk2ZVYwZ2RmTWVrcklqcU5sUGZnUzljZWg2V1lqRlVBTDgwSkR0Vk80V2tuRTNrdFRHZ3NEZVRDSE5Ra01GTXNERGk1Mi14dW9rbmpsNGFtTDM5aWNzR1ZMODlRLUpmWkdXc3BCU0UycEt6SEttOTItM01aVVhkTDVTcFZWUXhLYUZuY3NZZjUtRkVKZVljQ2NaQWtmTDA4czd5OXAya2EzSkhxeThWWVo0bzJDcGJ1UEIwcXg3ZU5QODUwY3V6S281YWhFSVdzVkVUbmQyencydXY1ZERfcU9sTWJHWHA1RC1fTmNlTVNic0M1S1hvIn0=.

[Landry Breuil]

On 24/06/2024 12:46, FABRY Vincent wrote:
> Merci Landry.
>
> Est-ce que tu comprends pourquoi quand on clique sur "Voir la source originale" (côté data.gouv, c'est censé renvoyer vers la fiche originale dans geonetwork) ça renvoie sur une http 500 ? ça fait pareil chez nous.

oui c'est justement a cause du lien par défaut dcat:landingpage qui
n'est pas présent dans la sortie au format dcat en 4.2.2, cf
https://github.com/georchestra/geonetwork/pull/288/files#diff-0aba8f4755578f238c90a942b2b85568eb87a79777e348923d02b99a7cb9c5eaR303

il me semble que si ce bout de xml n'est pas présent dans la sortie
dcat, alors udata génère un lien par défaut avec l'url de base du
catalogue+l'uuid, qui tombe sur une url qui n'existe pas dans GN (et protch)

--
Landry Breuil

[Benjamin Chartier]

Salut,

Je ne sais pas si ça peut venir aider mais lors de la journée annuelle Prodige qui a eu lieu au début du mois de juin l'équipe Ecosphères a présenté ce qui a été entrepris par eux et data.gouv.fr pour améliorer les capacités de moissonnage des plateformes Prodige (équipées aussi de GeoNetwork) par data.gouv.fr.

Un lien vers un doc de bonnes pratiques a été mis à disposition :

https://ecospheres.gitbook.io/recommandations-iso-dcat

Benjamin Chartier (Optéos)

[Landry Breuil]

On 25/06/2024 14:23, Benjamin Chartier wrote:
> Salut,
>
> Je ne sais pas si ça peut venir aider mais lors de la journée annuelle
> Prodige qui a eu lieu au début du mois de juin l'équipe Ecosphères a
> présenté ce qui a été entrepris par eux et data.gouv.fr pour améliorer
> les capacités de moissonnage des plateformes Prodige (équipées aussi de
> GeoNetwork) par data.gouv.fr.
> Un lien vers un doc de bonnes pratiques a été mis à disposition :
> https://ecospheres.gitbook.io/recommandations-iso-dcat

merci pour le rappel du lien je l'avais déjà vu. Est-ce que prodige fait
des modifications dans le schéma iso utilisé pour la sortie dcat ? je
n'ai rien trouvé de pertinent dans
https://gitlab.adullact.net/prodige/jpr_prodige_geonetwork .. mais le
système de build à l'air... tordu.

j'ai aussi trouvé https://github.com/ecolabdata/ecospheres-metadata mais
ca m'a l'air de targetter geodcat-ap qui n'est a ma connaissance pas
dans le GN 4.4.1 que prodige 5.0 vise.

--
Landry Breuil

[Benjamin Chartier]

Je ne sais pas du tout ce quelles adaptations ont été réalisées par les dev de Prodige sur GeoNetwork.

Le mieux serait de poser la question à Benoist Fontaine d'Alkante.

--

Benjamin Chartier (Optéos)

[Jean Pommier]

Hello

Peut-être que ça cible la PR suivante : https://github.com/geonetwork/core-geonetwork/pull/7600

Qui implémente notamment un profil geodcat-ap (et j'ai l'impression que c'est bien ce même profil qui a été testé par Fx pour sa PR, pour le moissonnage par data.gouv)

Jean Pommier -- pi-Geosolutions

Ingénieur, consultant indépendant

Tél. : (+33) 6 09 23 21 36
E-mail : j...@pi-geosolutions.fr
Web : www.pi-geosolutions.fr
linkedin : jean-pommier

[Landry Breuil]

On 26/06/2024 10:27, Jean Pommier wrote:
> Hello
>
> Peut-être que ça cible la PR suivante : https://github.com/geonetwork/
> core-geonetwork/pull/7600
>
> Qui implémente notamment un profil geodcat-ap (et j'ai l'impression que
> c'est bien ce même profil qui a été testé par Fx pour sa PR, pour le
> moissonnage par data.gouv)

oui c'est le cas, j'en ai eu confirmation par gabriel ripoche qui
travaille sur le sujet dans l'équipe ecospheres, je recopie son message
ci-dessous avec son autorisation:

====
À ce stade nous privilégions le moissonneur csw-iso-19139 que nous avons
mis en place avec data.gouv, plutôt que csw-dcat. Nous avons fait ce
choix pour pouvoir couvrir le maximum de catalogues existants, y compris
les Geonetwork 3, le plus rapidement possible.
Le moissonneur csw-iso-19139 fonctionne en récupérant les métadonnées au
format ISO et en appliquant le XSLT SEMICeu côté data.gouv pour le
convertir en GeoDCAT-AP. Geonetwork travaille à l'intégration de ce
XSLT, donc à terme nous espérons pouvoir basculer sur csw-dcat de
manière plus ou moins transparente lorsque Geonetwork aura finalisé son
exposition et que les catalogues auront été mis à jour.
En attendant, notre approche consiste à :

Corriger les fiches MD et/ou templates ISO à la source pour les
rendre conformes aux préconisations que nous avons formulé. Dans cette
optique, nous allons bientôt mettre à disposition des gestionnaires de
catalogue basés sur Geonetwork un petit outil permettant d'appliquer des
XSLT "correctifs" sur leur catalogues (exemples en dev). Dans la même
veine, GeoIDE a déjà intégré certaines préconisations (moissonneurs de
test déjà en place sur demo.data.gouv), et Alkante travaille à intégrer
les correctifs directement dans Prodige 5 dans son nouveau "module
contribution" (éditeur de fiches MD).
Remonter des patches à SEMICeu pour faire évoluer le XSLT de
référence, et qui seront automatiquement propagés au moissonneur
csw-iso-19139 de data.gouv. Si je trouve le temps, les premiers patches
devraient arriver dans les semaines à venir sur leur branche dev.
Geonetwork contribue également à cette branche donc on peut espérer
converger.

=====

les liens correspondants:
https://github.com/SEMICeu/iso-19139-to-dcat-ap
https://github.com/ecolabdata/ecospheres-core-geonetwork/commit/6724d0925dbe80189c9d4b80228158ffe2405f6e
https://github.com/SEMICeu/iso-19139-to-dcat-ap/tree/dev

a ce stade la, je dois bien avouer que mon niveau de compétences dans le
domaine est complètement explosé :)
--
Landry Breuil