Votre avis sur sdi-consistence-check
François Van Der Biest
- il n'a eu qu'un succès mitigé depuis sa création (ce qui ne l'empêche pas d'être déployé en standard et fonctionnel sur un certain nombre de plateformes, ex https://www.geo2france.fr/public/wms-report.log)
- il n'a jamais fait l'objet d'un financement spécifique ou d'une contribution majeure depuis 2016
- la base de code nécessite un entretien et une actualisation que l'on pourrait qualifier de "maintenance" (cf par exemple https://github.com/georchestra/sdi-consistence-check/issues/66 )
Fabrice Phung
Le 07/02/2024 à 21:22, François Van Der Biest a écrit :
> Bonjour à tous,
Bonjour François
Pour répondre à tes questions :
* produit pas utilisé car pas connu par géobretagne
* le problème traité par le produit existe bien et consomme du temps, ou
dégrade la qualité du service si ne prend pas ce temps
* les prérequis pour l'utiliser sont élevés, il ne peut donc être mis en
oeuvre que par un nombre limité de personnes qui ne sont pas celles qui
font la maintenance des métadonnées
* pour les plateformes oeuvrant par délégation de droits, il y a
contradiction entre des corrections automatiques et la
responsabilisation des producteurs
* si je devrais faire un tel produit aujourd'hui (sans parler pour le
reste de l'équipe), ce serait d'une part un produit d'évaluation des
données/métadonnées par politique publique ( par exemple : le stock de
données "agriculture" a un niveau de 57%), pour rendre le problème
visible et compréhensible ; et d'autre part les scripts permettant
d'améliorer cette note.
> Je me pose cependant la question de la pertinence d'investir sur cette
> base, alors que :
>
> certain nombre de plateformes, ex
> https://www.geo2france.fr/public/wms-report.log
> * il n'a jamais fait l'objet d'un financement spécifique ou d'une
> contribution majeure depuis 2016
> * la base de code nécessite un entretien et une actualisation que l'on
> https://github.com/georchestra/sdi-consistence-check/issues/66
> <https://github.com/georchestra/sdi-consistence-check/issues/66> )
>
> Nous sommes donc preneurs de vos retours relatifs à cet outil et ces
> questionnements : est-ce que vous connaissiez l'existence de cet outil,
> vous est-il utile, indispensable ? Le jugez-vous adapté, approprié à vos
> besoins ? Auriez vous besoin d'évolutions pour qu'il vous soit utile ?
> Est-il trop compliqué, pas assez joli, manquant d'une interface d'admin,
> d'un outil de dataviz associé ? Tout est entendable :-)
> Merci d'avance de vos retours nombreux et variés sur cette liste,
> F.
>
> --
> Vous avez reçu ce message, car vous êtes abonné au groupe
> Groupe "georchestra" georc...@googlegroups.com
> voir http://groups.google.fr/group/georchestra
> <http://groups.google.fr/group/georchestra>
>
> Site web : http://www.georchestra.org <http://www.georchestra.org>
>
> ---
> Vous recevez ce message, car vous êtes abonné au groupe Google Groupes
> "georchestra".
> Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le
> concernant, envoyez un e-mail à l'adresse
> georchestra...@googlegroups.com
> <mailto:georchestra...@googlegroups.com>.
> Cette discussion peut être lue sur le Web à l'adresse
> https://groups.google.com/d/msgid/georchestra/CA%2BGZgzS60dVh09d2tbo1hv950xwdHtvcGXBOMgfihJLZM02drw%40mail.gmail.com <https://groups.google.com/d/msgid/georchestra/CA%2BGZgzS60dVh09d2tbo1hv950xwdHtvcGXBOMgfihJLZM02drw%40mail.gmail.com?utm_medium=email&utm_source=footer>.
Jean Pommier
Salut,
Bonne question. Je n'ai jamais pris le temps de le tester ni de
l'ajouter à ma stack georchestra,mais il figure sur ma todolist.
Je pense que c'est une fonctionnalité importante.
Merci de lever le sujet, François
Jean
Jean Pommier -- pi-Geosolutions
Ingénieur, consultant indépendant
Tél. : (+33) 6 09 23 21 36
E-mail : j...@pi-geosolutions.fr
Web : www.pi-geosolutions.fr
linkedin : jean-pommier
--
--
Vous avez reçu ce message, car vous êtes abonné au groupe
Groupe "georchestra" georc...@googlegroups.com
voir http://groups.google.fr/group/georchestra
Site web : http://www.georchestra.org
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "georchestra".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse georchestra...@googlegroups.com.
Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/georchestra/CA%2BGZgzS60dVh09d2tbo1hv950xwdHtvcGXBOMgfihJLZM02drw%40mail.gmail.com.
Benjamin Chartier
- en tant qu'administrateur je trouve que :
- l'outil n'est pas facile à prendre en main
- les rapports produits sont peu lisibles et difficiles à exploiter. D'où la création de cet outil pour digérer et régurgiter les rapports de SDI Consistence Check : https://github.com/datagrandest/sdi-cc-report
- les temps d'exécution sont très longs (mais faut dire que sur une plateforme comme DataGrandEst il y a sûrement de bonnes raisons à cela)
- l'outil n'est pas facile à prendre en main
- en tant que développeur ce n'est pas facile du tout de se plonger dans le code
Florent Gravin
- Il n'y a pas de cohésion entre les objets métier de la plateforme. Le domaine/métier, ce sont les données, les utilisateurs, les métadonnées, les usages, les outils. Il n'existe rien qui représente ces entités dans un socle commun de la plateforme, ni qui gère les liens entre ces entités, il s'agit là du cœur d'une application informatique, du moins en termes d'architecture.
J'entends par là que l'avenir serait peut-être de gérer un système qui représente clairement ce métier, dans lequel des boites comme GeoNetwork ou Geoserver ne seraient que des détails d'implémentation. - Un travail dans GeoNetwork au niveau de l'Europe, a je crois entamé des réflexions sur la cohésion entre les métadonnées, les données et les services.
Voir par exemple le linkchecker sur https://www.forum.interconnectes.fr/
--
--
Vous avez reçu ce message, car vous êtes abonné au groupe
Groupe "georchestra" georc...@googlegroups.com
voir http://groups.google.fr/group/georchestra
Site web : http://www.georchestra.org
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes "georchestra".
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse georchestra...@googlegroups.com.
Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/georchestra/dbb36c6f-69e8-484b-9fea-170c7a7912f6n%40googlegroups.com.
François Van Der Biest
Le 07/02/2024 à 21:22, François Van Der Biest a écrit :
> Bonjour à tous,
Bonjour François
Pour répondre à tes questions :
* produit pas utilisé car pas connu par géobretagne
* le problème traité par le produit existe bien et consomme du temps, ou
dégrade la qualité du service si ne prend pas ce temps
* les prérequis pour l'utiliser sont élevés, il ne peut donc être mis en
oeuvre que par un nombre limité de personnes qui ne sont pas celles qui
font la maintenance des métadonnées
* pour les plateformes oeuvrant par délégation de droits, il y a
contradiction entre des corrections automatiques et la
responsabilisation des producteurs
* si je devrais faire un tel produit aujourd'hui (sans parler pour le
reste de l'équipe), ce serait d'une part un produit d'évaluation des
données/métadonnées par politique publique ( par exemple : le stock de
données "agriculture" a un niveau de 57%), pour rendre le problème
visible et compréhensible ; et d'autre part les scripts permettant
d'améliorer cette note.
Site web : http://www.georchestra.org
---
Vous recevez ce message, car vous êtes abonné au groupe Google Groupes georchestra.
Pour vous désabonner de ce groupe et ne plus recevoir d'e-mails le concernant, envoyez un e-mail à l'adresse georchestra...@googlegroups.com.
Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/georchestra/3cf8e829-9d2e-4478-bc4a-ac744e2ef521%40gmail.com.
Julien Sabatier
Dans mon idée, un graal pour geOrchestra serait de piloter geoserver et geonetwork depuis une seule et même interface, qui gèrerait à la source ces questions de liens données/métadonnées.
... rendant alors inutile un module comme sdi-consistence-check.
Guillaume RYCKELYNCK (GéoGrandEst)
- D'identifier l'ensemble des erreurs sur la plateforme pour les catégoriser et mettre en place une stratégie de correction
- De classer les erreurs et agir en fonction des responsabilités de chacun (prestataire, plateforme régionale ou des partenaires ayant publié une donnée). Un pb peut par exemple être lié à une erreur de saisie, mais également au dysfonctionnement d'une application.
- De pouvoir revenir vers un acteur pour l'accompagner dans sa publication (montée en compétence) et alimenter ainsi nos démarches d'animation
- ...
- La fiabilisation du lien données/métadonnées via une interface globale n'exclue pas le recours à des outils de supervision pour mesurer la cohérence de l'ensemble (sauf naturellement s'ils sont implémentés directement dans le gestionnaire de données/métadonnées)
- L'outil peut paraître complexe à première vue à utiliser, mais au final, seule l'installation peut poser question. Ce dont on a besoin c'est surtout d'un rapport régulier. Donc un CRON qui tourne sur la base d'une commande prédéfinie pour déposer un fichier sur un serveur HTTP suffit pour accéder à l'essentiel. Ce qui manque aujourd'hui c'est plus d'avoir un rapport lisible et exploitable et non une liste d'erreurs.
Région Grand Est / DataGrandEst
FABRY Vincent
Moi j’aime bien cet outil.
· En tant qu’administrateur de plateforme, ça m’intéresse de savoir quelle sont les données publiées qui ne sont pas documentées.
· L’aridité du fichier produit par SDI-CC ne me dérange pas.
· En revanche, je ne le mettrai pas entre les mains de ma collègue Christine, qui rédige les métadonnées, et qui a besoin de savoir sur quel jeu de donnée travailler.
· C’est pourquoi on s’est appuyé sur les développements de Guillaume, qu’on a trouvé très intéressants, pour produire cet outil de « vulgarisation » de SDI-CC : https://sig.hautsdefrance.fr/ext/rapportWMS/ (pour l’instant, seul ce qui vient de geoserver est analysé, mais on va continuer le travail pour analyser ce qui vient de geonetwork).
Pour conclure :
· je pense qu’il faut conserver cet outil, voir le mettre dans le cœur de georchestra, mais que les financements nécessaires ne sont pas à mettre en top priorité.
· Cet outil doit s’accompagner d’une interface graphique que différents profils d’utilisateurs puisse l’appréhender.
|
||||||||||
|
|
|
|
|
De : 'Guillaume RYCKELYNCK (GéoGrandEst)' via georchestra <georc...@googlegroups.com>
Envoyé : jeudi 8 février 2024 11:50
À : georchestra <georc...@googlegroups.com>
Objet : Re: [georchestra] Votre avis sur sdi-consistence-check
Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/georchestra/a581c336-c2b0-452f-b33b-8bb63fb28c13n%40googlegroups.com.
Maël REBOUX
Bonjour à tous,
Ravi de voir tous ces échanges sur un petit logiciel dont je réclame la paternité ^^
(la commande , pas le code qui a été fait par Pierre MAUDUIT, de mémoire).
J'utilise la fonction de contrôle d'intégrité tous les mois (checker.py), pour faire le suivi de l'état d'intégrité (métadonnée GeoNetwork avec une url valide vers un layer GeoServer et inversement).
J'utilise plus rarement (alors que je devrais le faire plus) la fonction de synchro des titre et résumé de la métadonnée GeoNetwork vers la métadonnée du layer de GeoServer (GeonetworkToGeoserverUpdater.py).
En bref : il fait le job mais :
- Il manque des options de filtrage pour travailler sur des portions du catalogue ou des workspaces
- Il manque des sorties / des filtrages de sortie (cf mes issues sur le repo github)
- C'est un outil actuellement seulement administrateur, très peu trivial (c'était assumé)
- Je trouve le code compliqué mais je n'ai pas remis le nez dedans depuis très longtemps et j'ai progressé en Python entretemps.
De mon point de vue et pour rejoindre Vincent et Guillaume : on ne peut pas se passer de cet outil de supervision qui permet très facilement de pointer des erreurs d'intégrité.
Les efforts récents de Guillaume pour disposer de sorties moins "roots" sont hautement appréciables. Il faudrait vraiment reprendre cet outil en une v2 pour produire des choses plus au goût du jour en terme d'UI / UX. Tout est restant scriptable. Une meilleure intégration à geOrchestra me semble louable.
Si on se veut collectivement ambitieux il faudrait que cet outil reprenne une partie des idées du inspirobot de GéoBretagne (il est débranché ?) https://slides.com/lecault/inspirobot à savoir la capacité de définir des tests (avec moult regex + fonctionnement par "plugin") afin que chacun puisse définir ses propres motifs / exigences de test.
Cet outil doit rester décorrélé d'un outil de "publication assistée GN -> GS". Ce dernier devant bien évidemment permettre de baisser mécaniquement les erreurs de source humaine.
Et misère ! Tous ces logiciels remontent à 7 8 9 ans ! Et nous n'avons toujours pas fait tout le chemin de la montée en qualité de nos métadonnées.
Et le glissement vers du GeoDCAT-AP ne changera RIEN à cette problématique et au fait de contrôler et corriger les métadonnées.
| Maël REBOUX Chef de projet données et diffusion Service Information Géographique Rennes Métropole -- T. 02 99 86 63 71 / 02 23 62 22 70 / --
|
De : georc...@googlegroups.com <georc...@googlegroups.com> De la part de FABRY Vincent
Envoyé : vendredi 9 février 2024 12:25
À : georc...@googlegroups.com
Objet : RE: [georchestra] Votre avis sur sdi-consistence-check
Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/georchestra/bc68a4513fda44c6a64f9323d47b7fd1%40hautsdefrance.fr.
LOIC ECAULT
Bonjour à tous,
@Fabrice, une partie de GéoBretagne connaissait cet outil, j’avais fait un essai d’install chez nous sans aller bien loin (limité à un geoserver).
Concernant l’outil dont tu fais référence Mael, on a 2 outils sur les métadonnées :
- Inspirobot ou cswbot https://github.com/geobretagne/cswbot pour effectuer les modifications en masse (utilisé il y a peu de temps)
- Mdchecker qui n’est plus en ligne qui faisait un scoring par métadonnée et que l’on utilise plus depuis longtemps
Avec la fin des rapportages INSPIRE, on a délaissé la partie contrôle des métadonnées mais il faudrait que l’on relance tout cela.
Au vu des réactions, je pense intéressant de le déployer sur GéoBretagne.
Bonne fin de semaine,
Loïc
De : georc...@googlegroups.com <georc...@googlegroups.com>
De la part de Maël REBOUX
Envoyé : vendredi 9 février 2024 14:40
À : georc...@googlegroups.com
Objet : RE: [georchestra] Votre avis sur sdi-consistence-check
Bonjour à tous,
Ravi de voir tous ces échanges sur un petit logiciel dont je réclame la paternité ^^
(la commande , pas le code qui a été fait par Pierre MAUDUIT, de mémoire).
J'utilise la fonction de contrôle d'intégrité tous les mois (checker.py), pour faire le suivi de l'état d'intégrité (métadonnée GeoNetwork avec une url valide vers un layer GeoServer et inversement).
J'utilise plus rarement (alors que je devrais le faire plus) la fonction de synchro des titre et résumé de la métadonnée GeoNetwork vers la métadonnée du layer de GeoServer (GeonetworkToGeoserverUpdater.py).
En bref : il fait le job mais :
- Il manque des options de filtrage pour travailler sur des portions du catalogue ou des workspaces
- Il manque des sorties / des filtrages de sortie (cf mes issues sur le repo github)
- C'est un outil actuellement seulement administrateur, très peu trivial (c'était assumé)
.
Cette discussion peut être lue sur le Web à l'adresse https://groups.google.com/d/msgid/georchestra/01c701da5b5d%247a26a4d0%246e73ee70%24%40rennesmetropole.fr.
Landry Breuil
> Bonjour à tous,
>
> Le module sdi-consistence-check (https://github.com/georchestra/sdi-
> check>) a été développé en 2016 sur financements Rennes Métropole pour
> données et métadonnées, directement au niveau des services OGC qui les
> publient. L'outil est donc en ce sens très indépendant de la plateforme
> geOrchestra.
>
> Un mode de fonctionnement avancé de l'outil permet également de corriger
> automagiquement les liens cassés, dans la mesure où au moins un sens
> fonctionne encore (donnée -> métadonnée ou métadonnée -> donnée), en
> exploitant les API Rest ou services transactionnels. Ce mode de
> fonctionnement est moins générique.
>
> Il y a actuellement un regain d'intérêt pour un outil de ce calibre (cf
> tickets récents ouverts sur https://github.com/georchestra/sdi-
> consistence-check/issues> et discussion récente sur cette liste https://
> groups.google.com/g/georchestra/c/d-P0loRO5eY/m/ODup-BklBAAJ <https://
> groups.google.com/g/georchestra/c/d-P0loRO5eY/m/ODup-BklBAAJ> ).
Bonjour,
je déterre un peu le sujet datant de février, car il y'a eu dessus un
peu de travail au geocom, et une synthèse à été postée par guillaume ici:
https://github.com/georchestra/sdi-consistence-check/discussions/80
je viens d'y ajouter ma propre vision en commentaire, a voir si ça peut
déboucher sur des convergences .. je ne sais pas quel est le lieu le
plus approprié pour ces discussions.
--
Landry Breuil