[REPOSITORIO] Herramienta para el repositorio de fuentes de datos

[Diego Cano]

Abro hilo para ir definiendo las características que debería tener la nueva herramienta para el repositorio de datos. Lo planteo como "esto es lo que molaría que tuviera", y luego vemos si hay herramientas que nos den todo esto o tenemos que ir hacia desarrollo propio.

---

1. Estructura y navegación 

Permitiría tanto la búsqueda directa de fuentes (modo Google) como una navegación facetada por criterios como Categoría, Organismo, Ámbito Territorial, etc.

---

2. Ficha de cada fuente.

Debería incluir:

a) Campos básicos. Empecemos por los que ya propusimos para el de Jottit:

Título.

Descripción.

URL.

Categoría (Cultura, Tráfico, eyc)

Organismo fuente de los datos.

Formato(s) ofrecido(s)

Fecha o frecuencia de publicación

Licencia de uso, derechos

Ámbito geográfico

b) Evaluación de madurez

En principio, según el modelo propuesto por Alberto, pero le añadiría un eje técnico. Esto enlaza con algo con lo que deberíamos empezar a ponernos en serio también lo antes posible: buenas prácticas de liberación de datos. ¿Ofrecer un XML, API, REST, RDF, SPARQL? ¿Ventajas e inconvenientes de cada caso? Aunque a día de hoy nos conformemos con un CSV, no estaría de más ir concretando info sobre las posibilidades que existen.

c) Usos conocidos

Casos conocidos (del AbreDatos o no) de utilización de cada fuente de datos.

d) Usos propuestos

Ideas de cómo se podría explotar cada fuente de datos.

e) Comentarios y propuestas de mejora.

Abiertos a todo el mundo (leer más abajo).

---

3. Contenido adicional

El repositorio sería un buen sitio para colgar información adicional sobre la apertura de datos:

- Buenas prácticas.

- Tutoriales técnicos sobre los diferentes formatos que se pueden utilizar para liberar datos.

- Herramientas, APIs, técnicas y todo aquello que facilite la utilización de las fuentes.

---

4. Nombre

Lo de "Repositorio de fuentes de datos públicas de Pro Bono Publico" no tiene mucho gancho. ¿Le buscamos un nombre al repositorio?

---

5. Herramienta y modelo de aportación

Actualmente lo que tenemos en jottit es muy ágil en el sentido de que cualquiera puede editar y aportar. No hay peligro de vandalismo porque mantiene las versiones anteriores, recuperables en cualquier momento.

Pero si tiramos hacia una herramienta a medida, abordar un control de versiones del contenido puede ser un auténtico coñazo.

¿Cómo lo veis? ¿Os parecería adecuado un modelo en el que unos administradores gestionaran el contenido del repositorio? ¿O creéis que el modelo actual de "cualquiera puede editar" es estrictamente necesario? O soluciones intermedias, como permitir añadir nuevas fuentes pero no eliminar ni editar las existentes. Yo no lo tengo claro. 

---

¿Más cosas? ¿Correcciones, comentarios?

Diego C.

[alberto]

El vie, 23-04-2010 a las 08:40 +0200, Diego Cano escribió:

Abro hilo para ir definiendo las características que debería tener la nueva herramienta para el repositorio de datos. Lo planteo como "esto es lo que molaría que tuviera", y luego vemos si hay herramientas que nos den todo esto o tenemos que ir hacia desarrollo propio.

---

1. Estructura y navegación 

Permitiría tanto la búsqueda directa de fuentes (modo Google) como una navegación facetada por criterios como Categoría, Organismo, Ámbito Territorial, etc.

---

2. Ficha de cada fuente.

Debería incluir:

a) Campos básicos. Empecemos por los que ya propusimos para el de Jottit:

Título.

Descripción.

URL.

Categoría (Cultura, Tráfico, eyc)

Organismo fuente de los datos.

Formato(s) ofrecido(s)

Fecha o frecuencia de publicación

Licencia de uso, derechos

Ámbito geográfico

b) Evaluación de madurez

En principio, según el modelo propuesto por Alberto, pero le añadiría un eje técnico. Esto enlaza con algo con lo que deberíamos empezar a ponernos en serio también lo antes posible: buenas prácticas de liberación de datos. ¿Ofrecer un XML, API, REST, RDF, SPARQL? ¿Ventajas e inconvenientes de cada caso? Aunque a día de hoy nos conformemos con un CSV, no estaría de más ir concretando info sobre las posibilidades que existen.

>>>Me pongo a modificar el modelo para meter esto... (le pondré un número de versión y ahora os paso el código para que se pueda poner embebido)

c) Usos conocidos

Casos conocidos (del AbreDatos o no) de utilización de cada fuente de datos.

>>>Sugiero formato wiki para que cualquiera que vaya haciendo cosas las pudiera compartir.

d) Usos propuestos

Ideas de cómo se podría explotar cada fuente de datos.

lo mismo q lo anterior, creo que un wiki podría valer posiblemente otras formas, pero por ser simple.

e) Comentarios y propuestas de mejora.

Abiertos a todo el mundo (leer más abajo).

---

3. Contenido adicional

El repositorio sería un buen sitio para colgar información adicional sobre la apertura de datos:

- Buenas prácticas.

- Tutoriales técnicos sobre los diferentes formatos que se pueden utilizar para liberar datos.

- Herramientas, APIs, técnicas y todo aquello que facilite la utilización de las fuentes.

---

4. Nombre

Lo de "Repositorio de fuentes de datos públicas de Pro Bono Publico" no tiene mucho gancho. ¿Le buscamos un nombre al repositorio?

Por decir algo
fuentepublica (dominio .com libre)
efuente (dominio .com libre)

etc

---

5. Herramienta y modelo de aportación

Actualmente lo que tenemos en jottit es muy ágil en el sentido de que cualquiera puede editar y aportar. No hay peligro de vandalismo porque mantiene las versiones anteriores, recuperables en cualquier momento.

Pero si tiramos http://publicsource.com/hacia una herramienta a medida, abordar un control de versiones del contenido puede ser un auténtico coñazo.

[Álvaro Ortiz]

Buenas,

La estructura y contenido de la BD me parecen perfectas.

> 3. Contenido adicional
> El repositorio sería un buen sitio para colgar información adicional sobre
> la apertura de datos:
> - Buenas prácticas.
> - Tutoriales técnicos sobre los diferentes formatos que se pueden utilizar
> para liberar datos.
> - Herramientas, APIs, técnicas y todo aquello que facilite la utilización de
> las fuentes.

Respecto a esto, lo desvincularía un poco de lo que es la herramienta;
entiendo que la forma más cómoda y práctica de ir preparando estas
cosas es un wiki. Podría servir el que tenemos, u otra cosa.

> 4. Nombre
> Lo de "Repositorio de fuentes de datos públicas de Pro Bono Publico" no
> tiene mucho gancho. ¿Le buscamos un nombre al repositorio?

Creo que tendría sentido que girase en torno a la marca AbreDatos,
¿no? ¿Repositorio AbreDatos? ¿Inventario AbreDatos?

> Pero si tiramos hacia una herramienta a medida, abordar un control de
> versiones del contenido puede ser un auténtico coñazo.
> ¿Cómo lo veis? ¿Os parecería adecuado un modelo en el que unos
> administradores gestionaran el contenido del repositorio? ¿O creéis que el
> modelo actual de "cualquiera puede editar" es estrictamente necesario?

Lo bueno del formato wiki es que elimina la fricción de que alguien
que quiera ponerse a trabajar, lo pueda hacer. Si introducimos el
concepto de administradores, es un punto de control que nos llevará
tiempo de gestión. Creo que lo ideal es que dispusiésemos de una
herramienta que nos permita el control de versiones, y todas las
opciones de filtrado, categorización y metadatos de las que estamos
hablando, manteniendo sencillez de uso.

Creo que capacidades para lograr algo así tenemos de sobra en el
grupo, otra cosa es que consigamos reunir las fuerzas :)

Molaría que hubiese apoyos en forma de +1 a lo propuesto, o
comentarios críticos, para poder seguir avanzando.

¿Cuáles serían los próximos pasos?

- Diseño (arquitectura información, prototipado, diseño visual)
- Decidir herramienta (propia o ajena)

álvaro

[Diego Cano]

2010/4/29 Álvaro Ortiz <fur...@gmail.com>

> 3. Contenido adicional
> El repositorio sería un buen sitio para colgar información adicional sobre
> la apertura de datos:
> - Buenas prácticas.
> - Tutoriales técnicos sobre los diferentes formatos que se pueden utilizar
> para liberar datos.
> - Herramientas, APIs, técnicas y todo aquello que facilite la utilización de
> las fuentes.

Respecto a esto, lo desvincularía un poco de lo que es la herramienta;
entiendo que la forma más cómoda y práctica de ir preparando estas
cosas es un wiki. Podría servir el que tenemos, u otra cosa.

Ok, me parece bien. Otro to-do: un esquema de contenidos que habría que ir desarrollando.

 

> 4. Nombre
> Lo de "Repositorio de fuentes de datos públicas de Pro Bono Publico" no
> tiene mucho gancho. ¿Le buscamos un nombre al repositorio?

Creo que tendría sentido que girase en torno a la marca AbreDatos,
¿no? ¿Repositorio AbreDatos? ¿Inventario AbreDatos?

Sí. Parece que la "marca" AbreDatos se está comiendo un poco a Pro Bono Publico.

 

> Pero si tiramos hacia una herramienta a medida, abordar un control de
> versiones del contenido puede ser un auténtico coñazo.
> ¿Cómo lo veis? ¿Os parecería adecuado un modelo en el que unos
> administradores gestionaran el contenido del repositorio? ¿O creéis que el
> modelo actual de "cualquiera puede editar" es estrictamente necesario?

Lo bueno del formato wiki es que elimina la fricción de que alguien
que quiera ponerse a trabajar, lo pueda hacer. Si introducimos el
concepto de administradores, es un punto de control que nos llevará
tiempo de gestión. Creo que lo ideal es que dispusiésemos de una
herramienta que nos permita el control de versiones, y todas las
opciones de filtrado, categorización y metadatos de las que estamos
hablando, manteniendo sencillez de uso.

Creo que capacidades para lograr algo así tenemos de sobra en el
grupo, otra cosa es que consigamos reunir las fuerzas :)

Molaría que hubiese apoyos en forma de +1 a lo propuesto, o
comentarios críticos, para poder seguir avanzando.

¿Cuáles serían los próximos pasos?

- Diseño (arquitectura información, prototipado, diseño visual)

Yo me apunto a la AI y prototipado, una vez decidamos si desarrollamos una herramienta propia o utilizamos algo existente.

Si alguien más quiere participar en esto, podemos utilizar la nueva herramienta de Google Docs que te permite hacer diagramas. Ya se empiezan a ver plantillas para hacer wireframes, y que yo sepa es la forma más fácil de manejar diagramas compartidos.

Diego C.

[Alberto Molpeceres]

Mi opinión (personal e intransferible):

*Creo* que una herramienta propia nos hace falta. Se podría tratar de
usar algo existente, pero creo que al nivel en el que estamos (y
partiendo de que el AI y el diseño es SI o SI), nos costaría menos
hacerlo que adaptar algo que exista que acoja el tema de repo, fuente,
usos, utilizarlo como cierta herramienta de "denuncia/kudos", etc. Nos
da toda la libertad que creo que nos puede hacer falta, y temas como
el control de versiones, etc. no son especialmente prioritarios para
mí. Y luego viene la parte friki de ser programador y el síndrome de
"no hecho aquí", pero al menos yo desconozco la existencia de algo que
se pareciera a la idea que ahora mismo tengo en la cabeza de lo que se
va a hacer.

Sobre el nombre.... antaño se habló de "datospublicos.es" y *creo* que
incluso se compró. Lo cierto es que a mi me parece un nombre perfecto
y mejor eso que ser xxxxx.abredatos.es.

Y con esto lo dejo. Como no voy a poder programarlo yo, pues cualquier
decisión me parecerá buena. Sólo recordar que hay una cuenta en github
de probono que estaría bien usarla para agrupar el código se decida lo
que se decida.

al.



2010/4/29 Diego Cano <juandie...@gmail.com>:

[Sergio Alvarez Leiva]

A priori, y luego contestaré con mas calma / tiempo, me puedo apuntar con Diego a preparar la parte visual del repo.

Por otro lado, estoy de acuerdo respecto al wiki. A mi me gusta la idea.

[David Cabo]

Hola,

Perdonad que haya estado desaparecido toda esta semana...

A mí la estructura que propuso Diego inicialmente me parece que está
muy bien. Sólo le añadiría a los campos básicos la posibilidad de que
los usuarios pongan tags. Y además de la evaluación de madurez, que es
un proceso formal y que requiere cierto trabajo, puede ser buena idea
permitir a los usuarios calificar las fuentes (1-5) o simplemente
decir "+1": con las 400+ fuentes de Aporta, de calidad muy variable,
uno no sabe por donde empezar.

Sobre lo del vandalismo, al wiki en jottit le han llegado un par de
oleadas de spam automático, la primera añadiendo enlaces
discretamente, la segunda destruyendo toda la página. Puede que sea un
problema específico de jottit, no lo sé, pero yo me sentiría bastante
inseguro teniendo algo editable anónimamente sin control de versiones.
(Pero citando a Diego, implementar esto puede ser "un coñazo". Sí.) En
cualquier caso, no creo que pedir a los usuarios que se identifiquen
antes de editar sea pedir demasiado: lo hacemos con el foro, que es
mucho menos 'delicado', y si alguien está interesado en usar una
fuente de datos crear una cuenta no le va a suponer un obstaculo.
Puede incluso ser beneficioso para crear una cierta sensación de
comunidad.

Sobre el nombre, a mí tanto datospublicos.es para darle identidad
propia como xxx.abredatos.es para aprovechar el tirón me parecen bien,
pero igual la gente de Comunicación tiene una opinión más fundamentada
sobre esto.

A la hora de implementarlo - y parece que va a ser necesario crear
algo propio - yo ofrezco mi Rails oxidado en mis ratos libres
(impredecibles, como los de todos por aquí); pero para la parte de
Javascript/front-end mejor no me dejéis solo. :)

/david

[Jacobo Elosua]

Para mí "datospublicos" tiene el inconveniente de que lo asociaría
mentalmente a algo de la administración pública. Además es juntar dos
términos muy comunes, que dificultan construir frases sin reiteraciones. Por
capacidad de comunicar desde la óptica de una Asociación le daría más puntos
a "AbreDatos".

-----Mensaje original-----
De: pro-bono...@googlegroups.com
[mailto:pro-bono...@googlegroups.com] En nombre de David Cabo
Enviado el: jueves, 29 de abril de 2010 19:46
Para: pro bono publico
Asunto: Re: Herramienta para el repositorio de fuentes de datos

[alberto]

El jue, 29-04-2010 a las 10:46 -0700, David Cabo escribió:

Hola,

 Perdonad que haya estado desaparecido toda esta semana...

 A mí la estructura que propuso Diego inicialmente me parece que está
muy bien. Sólo le añadiría a los campos básicos la posibilidad de que
los usuarios pongan tags. Y además de la evaluación de madurez, que es
un proceso formal y que requiere cierto trabajo, puede ser buena idea
permitir a los usuarios calificar las fuentes (1-5) o simplemente
decir "+1": con las 400+ fuentes de Aporta, de calidad muy variable,
uno no sabe por donde empezar.

yo he hecho un muestreo de aporta y va a ser más facil de lo q en principio se podría considerar por que la calidad es muy baja en las fuentes salvo excepciones,

Propongo un nivel 0 para ser calificado como fuente (el que puse en la web) y luego uno básico y otro avanzado. (ya loss tengo hechos)

si no pasas el 0 (p.e. >50%) pues no se evaluarían los otros y yo calculo que evaluar inicialmente solo pasarían el corte de 40 a 60. (No por que se sea muy exigente sino por el bajo nivel de las fuentes)

 Sobre lo del vandalismo, al wiki en jottit le han llegado un par de
oleadas de spam automático, la primera añadiendo enlaces
discretamente, la segunda destruyendo toda la página. Puede que sea un
problema específico de jottit, no lo sé, pero yo me sentiría bastante
inseguro teniendo algo editable anónimamente sin control de versiones.
(Pero citando a Diego, implementar esto puede ser "un coñazo". Sí.) En
cualquier caso, no creo que pedir a los usuarios que se identifiquen
antes de editar sea pedir demasiado: lo hacemos con el foro, que es
mucho menos 'delicado', y si alguien está interesado en usar una
fuente de datos crear una cuenta no le va a suponer un obstaculo.
Puede incluso ser beneficioso para crear una cierta sensación de
comunidad.

 Sobre el nombre, a mí tanto datospublicos.es para darle identidad
propia como xxx.abredatos.es para aprovechar el tirón me parecen bien,
pero igual la gente de Comunicación tiene una opinión más fundamentada
sobre esto.

 A la hora de implementarlo - y parece que va a ser necesario crear
algo propio - yo ofrezco mi Rails oxidado en mis ratos libres
(impredecibles, como los de todos por aquí); pero para la parte de
Javascript/front-end mejor no me dejéis solo. :)

/david

sugiero para trabajar lo mínimo en esto que la solución podría ser alguna herramienta open existente tipo wiki con autentificación

[Álvaro Ortiz]

Buenas,

> muy bien. Sólo le añadiría a los campos básicos la posibilidad de que
> los usuarios pongan tags.

+1 (aunque entiendo que no es imprescindible para una primera versión).

Y además de la evaluación de madurez, que es
> un proceso formal y que requiere cierto trabajo, puede ser buena idea
> permitir a los usuarios calificar las fuentes (1-5) o simplemente
> decir "+1": con las 400+ fuentes de Aporta, de calidad muy variable,
> uno no sabe por donde empezar.

Idem.

>  Sobre el nombre, a mí tanto datospublicos.es para darle identidad
> propia como xxx.abredatos.es para aprovechar el tirón me parecen bien,
> pero igual la gente de Comunicación tiene una opinión más fundamentada
> sobre esto.

Yo voto +1 a Datos Públicos. Respecto a lo que comenta Jacobo:

"datospublicos tiene el inconveniente de que lo asociaría

mentalmente a algo de la administración pública", creo que no es un
inconveniente, si no precisamente una ventaja: creo que debemos
fomentar el espíritu comunitario de que esto es de todos, porque es lo
que no hacen las propias administraciones.

>  A la hora de implementarlo - y parece que va a ser necesario crear
> algo propio - yo ofrezco mi Rails oxidado en mis ratos libres
> (impredecibles, como los de todos por aquí); pero para la parte de
> Javascript/front-end mejor no me dejéis solo. :)

Estupendo.

¿Os parece que vayamos haciendo una paginita en el wiki con las cosas
mínimas que debería tener una primera versión?

álvaro

[Santiago Higuera]

Hola:
En el nuevo art�culo de la entrega de premios, el enlace a live.abredatos
est� mal.

Fdo.: Santiago

[Fer]

Muy buenas,

> Yo voto +1 a Datos Públicos. Respecto a lo que comenta Jacobo:
> "datospublicos tiene el inconveniente de que lo asociaría
> mentalmente a algo de la administración pública", creo que no es un
> inconveniente, si no precisamente una ventaja: creo que debemos
> fomentar el espíritu comunitario de que esto es de todos, porque es lo
> que no hacen las propias administraciones.

+1 a datospublicos.es. Me parece un nombre mucho más claro que xxx.abredatos.es. Son dos conceptos diferentes creo yo.

> ¿Os parece que vayamos haciendo una paginita en el wiki con las cosas
> mínimas que debería tener una primera versión?

Además de esto, quizá deberíamos habilitar algo para facilitar la comunicación al equipo que vaya a analizar/diseñar/desarrollar la herramienta. Un foro, un Google Wave, wadus para no meter ruido en esta lista y hablar de cosas más específicas del desarrollo en si mismo. A lo mejor me estoy colando y ya se ha montado algo a tal efecto, pero no me ha parecido leer nada en la lista.

Por lo demás, +1 también a desarrollo propio. Sobre todo teniendo en cuenta todos los desarrolladores que se han ofrecido a colaborar. Por lo pronto, contad conmigo desde ya si se quiere montar algo con Rails. Puedo echar una mano en el back y en el front.

En cuanto a posibles features... Una vez más, seguro que ya se ha hablado en la lista y disculpad si es así, pero no obstante doy la idea: Se ha pensado en incorporar en la herramienta un mecanismo para facilitar a las administraciones la liberación de sus datos? Algún tipo de uploader/auto-scrapper que les permita subir sus datos (sea en csv, xml, etc.), la herramienta los mapée y los puedan editar, etc. Desde luego sería algo a implementar en la versión 2 ó 3 de la herramienta, pero creo que sería interesante contemplarlo.

Saludos!


Fer.

[Álvaro Ortiz]

> En cuanto a posibles features... Una vez más, seguro que ya se ha hablado en la lista y disculpad si es así, pero no obstante doy la idea: Se ha pensado en incorporar en la herramienta un mecanismo para facilitar a las administraciones la liberación de sus datos? Algún tipo de uploader/auto-scrapper que les permita subir sus datos (sea en csv, xml, etc.), la herramienta los mapée y los puedan editar, etc. Desde luego sería algo a implementar en la versión 2 ó 3 de la herramienta, pero creo que sería interesante contemplarlo.

Creo que no se ha hablado de ello; es un tema interesante, aunque me
parece que excede sobradamente el alcance. Es un tema atractivo, pero
muy complicado, y que creo que no tiene mucho que ver con el
repositorio. Es decir, que si alguien se siente con fuerzas de tirar
adelante con este tema, propondría que se plantease como un proyecto
independiente. Pero primero analizar si realmente es viable hacer algo
así... :)

álvaro

[David Cabo]

> Además de esto, quizá deberíamos habilitar algo para facilitar la comunicación al equipo que vaya a analizar/diseñar/desarrollar la herramienta. Un foro, un Google Wave, wadus para no meter ruido en esta lista y hablar de cosas más específicas del desarrollo en si mismo. A lo mejor me estoy colando y ya se ha montado algo a tal efecto, pero no me ha parecido leer nada en la lista.

Hace un par de quedadas, cuando se habló de crear equipos, se mencionó
la posibilidad de crear nuevos grupos de Google, por ejemplo, uno por
equipo. Al final todo el mundo estuvo de acuerdo en que de momento no
somos tantos y que no hay tanto tráfico en la lista como para que las
discusiones de un equipo molesten a otro. Si vemos que la situación
cambia una vez empecemos a trabajar...

De todas formas, si usamos github para el código (y creo que es lo
mejor), ahí tendremos un wiki, un gestor de defectos donde se puede
hablar...

/david

[David Cabo]

> Propongo un nivel 0 para ser calificado como fuente (el que puse en la
> web) y luego uno básico y otro avanzado. (ya loss tengo hechos)
>
> si no pasas el 0 (p.e. >50%) pues no se evaluarían los otros y yo
> calculo que evaluar inicialmente solo pasarían el corte de 40 a 60. (No
> por que se sea muy exigente sino por el bajo nivel de las fuentes)
>

Tres niveles tiene sentido, más de eso me parecería excesivamente
complejo, teniendo en cuenta dónde estamos ahora.

> sugiero para trabajar lo mínimo en esto que la solución podría ser
> alguna herramienta open existente tipo wiki con autentificación

El wiki que tenemos fue perfecto para arrancar, porque requiere
esfuerzo cero, y podría bloquearse con contraseña, lo cual lo haría
más seguro. El problema está alcanzando un tamaño que lo hace difícil
de manejar, no permite buscar o filtrar por criterios, no permite
añadir una discusión/comentario a una fuente sin ensuciar la página...
Por eso surgió la idea de crear una web propia, aprovechando que
tenemos el conocimiento técnico. Ahora, estoy de acuerdo en que
intentar trabajar lo mínimo siempre es una buena idea, se trata de
hacer algo sencillo.