Votre avis sur sdi-consistence-check

30 views
Skip to first unread message

François Van Der Biest

unread,
Feb 7, 2024, 3:22:54 PMFeb 7
to georchestra
Bonjour à tous,

Le module sdi-consistence-check (https://github.com/georchestra/sdi-consistence-check) a été développé en 2016 sur financements Rennes Métropole pour répondre à un besoin d'automatisation des controles de liens entre données et métadonnées, directement au niveau des services OGC qui les publient. L'outil est donc en ce sens très indépendant de la plateforme geOrchestra.

Un mode de fonctionnement avancé de l'outil permet également de corriger automagiquement les liens cassés, dans la mesure où au moins un sens fonctionne encore (donnée -> métadonnée ou métadonnée -> donnée), en exploitant les API Rest ou services transactionnels. Ce mode de fonctionnement est moins générique.

Il y a actuellement un regain d'intérêt pour un outil de ce calibre (cf tickets récents ouverts sur https://github.com/georchestra/sdi-consistence-check/issues et discussion récente sur cette liste https://groups.google.com/g/georchestra/c/d-P0loRO5eY/m/ODup-BklBAAJ ).

Je me pose cependant la question de la pertinence d'investir sur cette base, alors que :
Nous sommes donc preneurs de vos retours relatifs à cet outil et ces questionnements : est-ce que vous connaissiez l'existence de cet outil, vous est-il utile, indispensable ? Le jugez-vous adapté, approprié à vos besoins ? Auriez vous besoin d'évolutions pour qu'il vous soit utile ? Est-il trop compliqué, pas assez joli, manquant d'une interface d'admin, d'un outil de dataviz associé ? Tout est entendable :-)
 
Merci d'avance de vos retours nombreux et variés sur cette liste,
F.

Fabrice Phung

unread,
Feb 8, 2024, 3:36:47 AMFeb 8
to georc...@googlegroups.com


Le 07/02/2024 à 21:22, François Van Der Biest a écrit :
> Bonjour à tous,

Bonjour François

Pour répondre à tes questions :

* produit pas utilisé car pas connu par géobretagne

* le problème traité par le produit existe bien et consomme du temps, ou
dégrade la qualité du service si ne prend pas ce temps

* les prérequis pour l'utiliser sont élevés, il ne peut donc être mis en
oeuvre que par un nombre limité de personnes qui ne sont pas celles qui
font la maintenance des métadonnées

* pour les plateformes oeuvrant par délégation de droits, il y a
contradiction entre des corrections automatiques et la
responsabilisation des producteurs

* si je devrais faire un tel produit aujourd'hui (sans parler pour le
reste de l'équipe), ce serait d'une part un produit d'évaluation des
données/métadonnées par politique publique ( par exemple : le stock de
données "agriculture" a un niveau de 57%), pour rendre le problème
visible et compréhensible ; et d'autre part les scripts permettant
d'améliorer cette note.


> Je me pose cependant la question de la pertinence d'investir sur cette
> base, alors que :
>
> * il n'a eu qu'un succès mitigé depuis sa création (ce qui ne
> l'empêche pas d'être déployé en standard et fonctionnel sur un
> certain nombre de plateformes, ex
> https://www.geo2france.fr/public/wms-report.log
> <https://www.geo2france.fr/public/wms-report.log>)
> * il n'a jamais fait l'objet d'un financement spécifique ou d'une
> contribution majeure depuis 2016
> * la base de code nécessite un entretien et une actualisation que l'on
> pourrait qualifier de "maintenance" (cf par exemple
> https://github.com/georchestra/sdi-consistence-check/issues/66
> <https://github.com/georchestra/sdi-consistence-check/issues/66> )
>
> Nous sommes donc preneurs de vos retours relatifs à cet outil et ces
> questionnements : est-ce que vous connaissiez l'existence de cet outil,
> vous est-il utile, indispensable ? Le jugez-vous adapté, approprié à vos
> besoins ? Auriez vous besoin d'évolutions pour qu'il vous soit utile ?
> Est-il trop compliqué, pas assez joli, manquant d'une interface d'admin,
> d'un outil de dataviz associé ? Tout est entendable :-)
> Merci d'avance de vos retours nombreux et variés sur cette liste,
> F.
>
> --
> --
> Vous avez reçu ce message, car vous êtes abonné au groupe
> Groupe "georchestra" georc...@googlegroups.com
> voir http://groups.google.fr/group/georchestra
> <http://groups.google.fr/group/georchestra>
>
> Site web : http://www.georchestra.org <http://www.georchestra.org>
>
> ---
> Vous recevez ce message, car vous êtes abonné au groupe Google Groupes
> "georchestra".
> Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le
> concernant, envoyez un e-mail à l'adresse
> georchestra...@googlegroups.com
> <mailto:georchestra...@googlegroups.com>.
> Cette discussion peut être lue sur le Web à l'adresse
> https://groups.google.com/d/msgid/georchestra/CA%2BGZgzS60dVh09d2tbo1hv950xwdHtvcGXBOMgfihJLZM02drw%40mail.gmail.com <https://groups.google.com/d/msgid/georchestra/CA%2BGZgzS60dVh09d2tbo1hv950xwdHtvcGXBOMgfihJLZM02drw%40mail.gmail.com?utm_medium=email&utm_source=footer>.

Jean Pommier

unread,
Feb 8, 2024, 3:39:56 AMFeb 8
to georc...@googlegroups.com

Salut,

Bonne question. Je n'ai jamais pris le temps de le tester ni de l'ajouter à ma stack georchestra,mais il figure sur ma todolist. Je pense que c'est une fonctionnalité importante.

Merci de lever le sujet, François

Jean

Jean Pommier -- pi-Geosolutions

Ingénieur, consultant indépendant

Tél. : (+33) 6 09 23 21 36
E-mail : j...@pi-geosolutions.fr
Web : www.pi-geosolutions.fr
linkedin : jean-pommier

Le 07/02/2024 à 21:22, François Van Der Biest a écrit :
--
--
Vous avez reçu ce message, car vous êtes abonné au groupe
Groupe "georchestra" georc...@googlegroups.com
voir http://groups.google.fr/group/georchestra
 


---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "georchestra".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse georchestra...@googlegroups.com.
Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/georchestra/CA%2BGZgzS60dVh09d2tbo1hv950xwdHtvcGXBOMgfihJLZM02drw%40mail.gmail.com.

Benjamin Chartier

unread,
Feb 8, 2024, 4:08:06 AMFeb 8
to georchestra
[J'évoque dans la suite de mon message beaucoup DataGrandEst parce que je suis impliqué dans l'exploitation de SDI Consistence Check et la correction des liens que l'outil contrôle]

L'idée derrière cet outil est excellente car sur la plupart des plateformes geOrchestra la publication des données passe par des actions manuelles à la fois dans GeoNetwork et GeoServer. Aucune garantie que les informations saisies manuellement d'un côté comme de l'autre soient cohérentes. Au moins SDI Consistence Check permet de vérifier la cohérence après coup.
Quelques défauts de l'outil actuel (point de vue purement personnel) :
  • en tant qu'administrateur je trouve que :
    • l'outil n'est pas facile à prendre en main
    • les rapports produits sont peu lisibles et difficiles à exploiter. D'où la création de cet outil pour digérer et régurgiter les rapports de SDI Consistence Check : https://github.com/datagrandest/sdi-cc-report
    • les temps d'exécution sont très longs (mais faut dire que sur une plateforme comme DataGrandEst il y a sûrement de bonnes raisons à cela)
  • en tant que développeur ce n'est pas facile du tout de se plonger dans le code
En tout cas, je vois mal une plateforme comme DataGrandEst se passer d'un outil comme celui-ci. Avec une solution technique qui intégrerait des garde-fous dans tout le processus de publication on pourrait sans doute s'en passer mais pas là.

Florent Gravin

unread,
Feb 8, 2024, 4:25:29 AMFeb 8
to georc...@googlegroups.com
Bonjour,

Personnellement, je ne connais pas cet outil, mais ce que je lis dans ce fil me fait penser principalement à 2 choses:
  1. Il n'y a pas de cohésion entre les objets métier de la plateforme. Le domaine/métier, ce sont les données, les utilisateurs, les métadonnées, les usages, les outils. Il n'existe rien qui représente ces entités dans un socle commun de la plateforme, ni qui gère les liens entre ces entités, il s'agit là du cœur d'une application informatique, du moins en termes d'architecture.
    J'entends par là que l'avenir serait peut-être de gérer un système qui représente clairement ce métier, dans lequel des boites comme GeoNetwork ou Geoserver ne seraient que des détails d'implémentation.

  2. Un travail dans GeoNetwork au niveau de l'Europe, a je crois entamé des réflexions sur la cohésion entre les métadonnées, les données et les services.
    Voir par exemple le linkchecker sur https://www.forum.interconnectes.fr/


--
--
Vous avez reçu ce message, car vous êtes abonné au groupe
Groupe "georchestra" georc...@googlegroups.com
voir http://groups.google.fr/group/georchestra
 
Site web : http://www.georchestra.org

---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "georchestra".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse georchestra...@googlegroups.com.


--
This is Florent Gravin's card. Their email is florent.gravin@camptocamp.com.

François Van Der Biest

unread,
Feb 8, 2024, 4:27:45 AMFeb 8
to georc...@googlegroups.com
Merci pour vos retours !

Quelques réactions ci-dessous.

On Thu, Feb 8, 2024 at 9:36 AM Fabrice Phung <fabric...@gmail.com> wrote:


Le 07/02/2024 à 21:22, François Van Der Biest a écrit :
> Bonjour à tous,

Bonjour François

Pour répondre à tes questions :

* produit pas utilisé car pas connu par géobretagne

Utilisez vous autre chose pour remplir la même tâche ?
J'ai le souvenir d'un développement "maison" similaire.


* le problème traité par le produit existe bien et consomme du temps, ou
dégrade la qualité du service si ne prend pas ce temps

Tout le monde s'y accorde, il me semble, et il est dû au fait d'avoir 2 endroits pour gérer données et métadonnées.
Dans mon idée, un graal pour geOrchestra serait de piloter geoserver et geonetwork depuis une seule et même interface, qui gèrerait à la source ces questions de liens données/métadonnées.
... rendant alors inutile un module comme sdi-consistence-check.
 

* les prérequis pour l'utiliser sont élevés, il ne peut donc être mis en
oeuvre que par un nombre limité de personnes qui ne sont pas celles qui
font la maintenance des métadonnées

Oui, et je comprends que ce n'est pas un pré-requis de mise en oeuvre dont tu parles ici (on a déjà beaucoup simplifié la mise en oeuvre avec une image docker), mais bien de prise en main et d'appropriation des résultats affichés par sdi-consistence-check.
Là encore, cet outil n'est (à mon avis) qu'un mauvais palliatif au fait que les interfaces actuelles des outils utilisés ne sont pas au niveau.
 

* pour les plateformes oeuvrant par délégation de droits, il y a
contradiction entre des corrections automatiques et la
responsabilisation des producteurs

Je n'ai jamais vu la mise en oeuvre concrète de ces corrections automatiques.
Je ne sais pas si Rennes le fait au final.
 

* si je devrais faire un tel produit aujourd'hui (sans parler pour le
reste de l'équipe), ce serait d'une part un produit d'évaluation des
données/métadonnées par politique publique ( par exemple : le stock de
données "agriculture" a un niveau de 57%), pour rendre le problème
visible et compréhensible ; et d'autre part les scripts permettant
d'améliorer cette note.

Au mieux on pourrait demander à l'outil de travailler sur un workspace geoserver (donc un producteur de données, la plupart du temps).
C'est donc insuffisant pour ton besoin.
 



---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes georchestra.
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse georchestra...@googlegroups.com.
Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/georchestra/3cf8e829-9d2e-4478-bc4a-ac744e2ef521%40gmail.com.

Julien Sabatier

unread,
Feb 8, 2024, 5:01:31 AMFeb 8
to georchestra
Bonjour à tous,

Tout le monde s'y accorde, il me semble, et il est dû au fait d'avoir 2 endroits pour gérer données et métadonnées.
Dans mon idée, un graal pour geOrchestra serait de piloter geoserver et geonetwork depuis une seule et même interface, qui gèrerait à la source ces questions de liens données/métadonnées.
... rendant alors inutile un module comme sdi-consistence-check.


Chez nous on gère tout coté GeoServer avec l'extension metadata, comme expliqué ici : https://gitlab.agglo-lepuyenvelay.fr/-/snippets/1030
Ça simplifie pas mal la saisie, mais nécessite un accès à geoserver pour les personnes concernées.

Cordialement

Guillaume RYCKELYNCK (GéoGrandEst)

unread,
Feb 8, 2024, 5:50:12 AMFeb 8
to georchestra
Bonjour à tous,

Merci pour ces retours.

Comme l'a souligné Benjamin, pour nous, ce type d'outil est actuellement important pour avoir une visibilité de ce qui est publié sur la plateforme... sans doute en partie car on ne dispose pas de mieux pour répondre aux problèmes actuels de qualité de ce que l'on publie.

A ce stade,  il n'est pas ouvert ni partagé avec les partenaires. Cependant il offre d'un point de vu fonctionnel plusieurs éléments intéressants pour les administrateurs, notamment la capacité :
  • D'identifier l'ensemble des erreurs sur la plateforme pour les catégoriser et mettre en place une stratégie de correction
  • De classer les erreurs et agir en fonction des responsabilités de chacun (prestataire, plateforme régionale ou des partenaires ayant publié une donnée). Un pb peut par exemple être lié à une erreur de saisie, mais également au dysfonctionnement d'une application.
  • De pouvoir revenir vers un acteur pour l'accompagner dans sa publication (montée en compétence) et alimenter ainsi nos démarches d'animation
  • ...

Par ailleurs selon moi:
  • La fiabilisation du lien données/métadonnées via une interface globale n'exclue pas le recours à des outils de supervision pour mesurer la cohérence de l'ensemble (sauf naturellement s'ils sont implémentés directement dans le gestionnaire de données/métadonnées)
  • L'outil peut paraître complexe à première vue à utiliser, mais au final, seule l'installation peut poser question. Ce dont on a besoin c'est surtout d'un rapport régulier. Donc un CRON qui tourne sur la base d'une commande prédéfinie pour déposer un fichier sur un serveur HTTP suffit pour accéder à l'essentiel. Ce qui manque aujourd'hui c'est plus d'avoir un rapport lisible et exploitable et non une liste d'erreurs.
Pour les visionnaires, on pourrait aussi imaginer à termes l'intégration d'IA dans ce type d'outils pour analyser le contenu de nos plateforme. Un apprenti a travaillé pendant 3 mois à la Région en 2021 sur l'analyse sémantique de nos fiches de métadonnées via NLP. Cette démarche était juste exploratoire, mais intéressante car montrait les potentialités en termes de classement/rapprochement des métadonnées. Ex.: identifier 2 fiches saisies par 2 partenaires concernant la même donnée sur des territoires différents, identification de doublons avec des métadonnées différentes pour des données quais identiques, classification et rapprochement sémantique/thématiques des données, etc.
Cela peut paraître trivial pour certains, mais quand on a 60 contributeurs et 7000 fiches de métadonnées, ce type d'analyse pose question.

Bonne journée à tous,

Guillaume R.
Région Grand Est / DataGrandEst

FABRY Vincent

unread,
Feb 9, 2024, 6:25:14 AMFeb 9
to georc...@googlegroups.com

Moi j’aime bien cet outil.

·        En tant qu’administrateur de plateforme, ça m’intéresse de savoir quelle sont les données publiées qui ne sont pas documentées.

·        L’aridité du fichier produit par SDI-CC ne me dérange pas.

·        En revanche, je ne le mettrai pas entre les mains de ma collègue Christine, qui rédige les métadonnées, et qui a besoin de savoir sur quel jeu de donnée travailler.

·        C’est pourquoi on s’est appuyé sur les développements de Guillaume, qu’on a trouvé très intéressants, pour produire cet outil de « vulgarisation » de SDI-CC : https://sig.hautsdefrance.fr/ext/rapportWMS/ (pour l’instant, seul ce qui vient de geoserver est analysé, mais on va continuer le travail pour analyser ce qui vient de geonetwork).

Pour conclure :

·        je pense qu’il faut conserver cet outil, voir le mettre dans le cœur de georchestra, mais que les financements nécessaires ne sont pas à mettre en top priorité.

·        Cet outil doit s’accompagner d’une interface graphique que différents profils d’utilisateurs puisse l’appréhender.

 

Moi j’aime bien cet outil.

Vincent FABRY
Agence Hauts-de-France 2020 2040
Service système d'information géographique et appui à la connaissance
Administrateur des systèmes d'information

+33374271583 - Standard. +33374270000
vincen...@hautsdefrance.fr

151 Avenue du président Hoover

59555 LILLE CEDEX

15 Mail Albert 1er

80000 AMIENS CEDEX

Pensez environnement : n'imprimez ce message que si nécessaire.

 

Rev3 - Transformons les Hauts-de-France

 

 

 

De : 'Guillaume RYCKELYNCK (GéoGrandEst)' via georchestra <georc...@googlegroups.com>
Envoyé : jeudi 8 février 2024 11:50
À : georchestra <georc...@googlegroups.com>
Objet : Re: [georchestra] Votre avis sur sdi-consistence-check

Maël REBOUX

unread,
Feb 9, 2024, 8:40:05 AMFeb 9
to georc...@googlegroups.com

Bonjour à tous,

 

Ravi de voir tous ces échanges sur un petit logiciel dont je réclame la paternité ^^

(la commande , pas le code qui a été fait par Pierre MAUDUIT, de mémoire).

 

J'utilise la fonction de contrôle d'intégrité tous les mois (checker.py), pour faire le suivi de l'état d'intégrité (métadonnée GeoNetwork avec une url valide vers un layer GeoServer et inversement).

J'utilise plus rarement (alors que je devrais le faire plus) la fonction de synchro des titre et résumé de la métadonnée GeoNetwork vers la métadonnée du layer de GeoServer (GeonetworkToGeoserverUpdater.py).

 

En bref : il fait le job mais :

-          Il manque des options de filtrage pour travailler sur des portions du catalogue ou des workspaces

-          Il manque des sorties / des filtrages de sortie (cf mes issues sur le repo github)

-          C'est un outil actuellement seulement administrateur, très peu trivial (c'était assumé)

-          Je trouve le code compliqué mais je n'ai pas remis le nez dedans depuis très longtemps et j'ai progressé en Python entretemps.

 

De mon point de vue et pour rejoindre Vincent et Guillaume :  on ne peut pas se passer de cet outil de supervision qui permet très facilement de pointer des erreurs d'intégrité.

Les efforts récents de Guillaume pour disposer de sorties moins "roots" sont hautement appréciables. Il faudrait vraiment reprendre cet outil en une v2 pour produire des choses plus au goût du jour en terme d'UI / UX. Tout est restant scriptable. Une meilleure intégration à geOrchestra me semble louable.

 

Si on se veut collectivement ambitieux il faudrait que cet outil reprenne une partie des idées du inspirobot de GéoBretagne (il est débranché ?) https://slides.com/lecault/inspirobot à savoir la capacité de définir des tests (avec moult regex + fonctionnement par "plugin") afin que chacun puisse définir ses propres motifs / exigences de test.

 

Cet outil doit rester décorrélé d'un outil de "publication assistée GN -> GS". Ce dernier devant bien évidemment permettre de baisser mécaniquement les erreurs de source humaine.

Et misère ! Tous ces logiciels remontent à 7 8 9 ans ! Et nous n'avons toujours pas fait tout le chemin de la montée en qualité de nos métadonnées.

Et le glissement vers du GeoDCAT-AP ne changera RIEN à cette problématique et au fait de contrôler et corriger les métadonnées.

 

 

Maël REBOUX

Chef de projet données et diffusion

Service Information Géographique

Rennes Métropole

--

T. 02 99 86 63 71 / 02 23 62 22 70 /
https://public.sig.rennesmetropole.fr   |  https://data.rennesmetropole.fr

--

 

 De : georc...@googlegroups.com <georc...@googlegroups.com> De la part de FABRY Vincent
Envoyé : vendredi 9 février 2024 12:25
À : georc...@googlegroups.com
Objet : RE: [georchestra] Votre avis sur sdi-consistence-check

image001.png
image020.png
image012.png
image013.png
image014.png
image015.jpg
image016.jpg
image017.png
image018.jpg
image019.jpg

LOIC ECAULT

unread,
Feb 9, 2024, 9:40:34 AMFeb 9
to georc...@googlegroups.com

Bonjour à tous,

 

@Fabrice, une partie de GéoBretagne connaissait cet outil, j’avais fait un essai d’install chez nous sans aller bien loin (limité à un geoserver).

 

Concernant l’outil dont tu fais référence Mael, on a 2 outils sur les métadonnées :

  • Inspirobot ou cswbot https://github.com/geobretagne/cswbot pour effectuer les modifications en masse (utilisé il y a peu de temps)
  • Mdchecker qui n’est plus en ligne qui faisait un scoring par métadonnée et que l’on utilise plus depuis longtemps

 

Avec la fin des rapportages INSPIRE, on a délaissé la partie contrôle des métadonnées mais il faudrait que l’on relance tout cela.

 

Au vu des réactions, je pense intéressant de le déployer sur GéoBretagne.

 

Bonne fin de semaine,

 

Loïc

 

De : georc...@googlegroups.com <georc...@googlegroups.com> De la part de Maël REBOUX
Envoyé : vendredi 9 février 2024 14:40


À : georc...@googlegroups.com
Objet : RE: [georchestra] Votre avis sur sdi-consistence-check

 

Bonjour à tous,

 

Ravi de voir tous ces échanges sur un petit logiciel dont je réclame la paternité ^^

(la commande , pas le code qui a été fait par Pierre MAUDUIT, de mémoire).

 

J'utilise la fonction de contrôle d'intégrité tous les mois (checker.py), pour faire le suivi de l'état d'intégrité (métadonnée GeoNetwork avec une url valide vers un layer GeoServer et inversement).

J'utilise plus rarement (alors que je devrais le faire plus) la fonction de synchro des titre et résumé de la métadonnée GeoNetwork vers la métadonnée du layer de GeoServer (GeonetworkToGeoserverUpdater.py).

 

En bref : il fait le job mais :

  • Il manque des options de filtrage pour travailler sur des portions du catalogue ou des workspaces
  • Il manque des sorties / des filtrages de sortie (cf mes issues sur le repo github)
  • C'est un outil actuellement seulement administrateur, très peu trivial (c'était assumé)
Reply all
Reply to author
Forward
0 new messages