Alcaldes y concejales, ¿Hay algo?

37 views
Skip to first unread message

lcabrera

unread,
Dec 9, 2011, 6:22:26 AM12/9/11
to praeter...@googlegroups.com
Buenasss

Me hace falta la lista completa de alcaldes y concejales, municipio a municipio...

He mirado en Opengov (  http://opengov.es/package/search?q=alcalde ) pero no he visto nada.


En ella aparecen todos ellos, pero me parece que hará falta algo de programación (o muchísima paciencia) para extraer toda la información de ahí.

¿Alguna sugerencia de por donde empezar?  (Sé algo de python y de php, por si sirviera)

Luis


NOTA: por supuesto, el resultado de lo que se haga, de cabeza a opengov, y el código, si lo hubiera, quedaría liberado automagicamente.

Javier de la Cueva

unread,
Dec 9, 2011, 7:35:28 AM12/9/11
to praeter...@googlegroups.com
Muchas gracias, Luis. No hay nada de alcaldes.

Desconocía el enlace que envías, así que nuevamente, gracias. Le he
estado echando un vistazo con live http headers y no creo que haya
excesivo problema en hacer un script de extracción de datos.

Para obtener la provincia, pide un GET desde la provincia 2 hasta la 50:

GET /portalEELL/consulta_alcaldes/getEntidades/provincia/2

Para obtener los municipios, la consulta veo que hay que hacerla desde la URL
https://ssweb.mpt.es/portalEELL/consulta_alcaldes/getEntidades/provincia/2

hasta la
https://ssweb.mpt.es/portalEELL/consulta_alcaldes/getEntidades/provincia/50

Para obtener los resultados, veo que requiere por cada uno de los
municipios de cada provincia, un

POST https://ssweb.mpt.es/portalEELL/consulta_alcaldes
POST /portalEELL/consulta_alcaldes
consulta_alcalde%5B_csrf_token%5D=21d94c0fc2299a31a4611dfd86fb2f3c&consulta_alcalde%5Bid_provincia%5D=3&consulta_alcalde%5Bid_entidad%5D=17905

Espero te sea de utilidad.

--
Cordiales saludos,
Javier de la Cueva

> --
> Has recibido este mensaje porque estás suscrito al grupo "Praeter Orwell" de
> Grupos de Google.
> Para ver este debate en la Web, visita
> https://groups.google.com/d/msg/praeter-orwell/-/ohg-txL8NJIJ.
> Para publicar una entrada en este grupo, envía un correo electrónico a
> praeter...@googlegroups.com.
> Para anular tu suscripción a este grupo, envía un correo electrónico a
> praeter-orwel...@googlegroups.com
> Para tener acceso a más opciones, visita el grupo en
> http://groups.google.com/group/praeter-orwell?hl=es.

Javier de la Cueva

unread,
Dec 9, 2011, 7:42:35 AM12/9/11
to praeter...@googlegroups.com
Perdón, rectifico:

Desde la 1 hasta la 52, inclusives:
https://ssweb.mpt.es/portalEELL/consulta_alcaldes/getEntidades/provincia/1
https://ssweb.mpt.es/portalEELL/consulta_alcaldes/getEntidades/provincia/52

El código fuente de esas URLs te va a dar los municipios y los códigos
de los mismos, para inyectarlos en la petición de datos por municipio.

--
Cordiales saludos,
Javier de la Cueva


El día 9 de diciembre de 2011 13:35, Javier de la Cueva
<jdela...@gmail.com> escribió:

lcabrera

unread,
Dec 9, 2011, 8:24:48 AM12/9/11
to praeter...@googlegroups.com, jdela...@gmail.com
Efectivamente, me han sido de muchísima utilidad los comentarios sobre la construcción de las URL's.

La verdad es que ando muy perdido con el tema de scraping y con algo que es nuevo para mi: el XPath...

He estado echándole un ojo al paquete python_scrapy, pero ando desorientado en cuanto a como montarmelo con él.

Por lo que he ido viendo, uniendo python_scrapy y python_pycurl, parece sencillo conseguir el listado de alcaldes y concejales...

Voy a intentar caminar un poco en esa dirección, a ver si así avanzo algo.

Cualquier sugerencia será MUY BIEN RECIBIDA :-)

Gracias de antemano.

Luis

lcabrera

unread,
Dec 19, 2011, 5:16:45 AM12/19/11
to praeter...@googlegroups.com, jdela...@gmail.com
Buenos días de nuevo...

No he podido dedicarle mucho tiempo al tema de extraer el listado de concejales y alcaldes entre otras cosas, porque estoy atascado :-/

Te adjunto el código que hay (poca cosa) por si ves como seguir avanzando ...

Saludos

Luis
main.py

Marcos

unread,
Dec 22, 2011, 11:17:06 AM12/22/11
to Praeter Orwell
Hola:

Le he estado echando un ojo y te falta una 's' cuando nombras al
archivo cookies.txt

c_e.setopt(c_e.COOKIEFILE, 'cookie.txt')
c_e.setopt(c_e.COOKIEJAR, 'cookies.txt')


Saludos

lcabrera

unread,
Dec 24, 2011, 6:09:39 PM12/24/11
to praeter...@googlegroups.com
Si es un perro, me muerde :-/

Gracias por dedicarle un rato...

A ver si ahora lo retomo y lo logro finalizar :-)

Seguimos...

Luis
Message has been deleted
Message has been deleted

kenkeiras

unread,
Jan 14, 2012, 8:15:56 PM1/14/12
to Praeter Orwell
No se si llego tarde, pero creo que lo he conseguido, el parser y la
base de datos obtenida en sqlite: http://codigoparallevar.co.cc/files/cargos.zip

ps: aprovecho para ofrecerme para hechar una mano con este proyecto,
que me parece realmente necesario

Javier de la Cueva

unread,
Jan 17, 2012, 12:10:32 PM1/17/12
to praeter...@googlegroups.com
El 15/01/12 02:15, kenkeiras escribi�:

Muchas gracias, me parece un fant�stico trabajo.

He estado revisando los scripts de extracci�n y quisiera saber bajo qu�
licencia de propiedad intelectual los quisieras poner. Lo interesante
ser�a que los liberases con una licencia que obligase que siempre se te
nombrase como autor y que al mismo tiempo permitieses que los pudiese
utilizar, estudiar y modificar cualquiera (obviamente cit�ndote).

Por otra parte, como lo referenciar� en el documento, quisiera tambi�n
saber c�mo te cito (nombre y apellidos, nickname...)

Javier de la Cueva

unread,
Jan 17, 2012, 12:11:58 PM1/17/12
to praeter...@googlegroups.com
El 15/01/12 05:46, lcabrera escribi�:

[...]

> Si el resultado lo ven correcto, mu�vanlo para que la pe�a de OpenGov en
> particular, y la comunidad OpenData espa�ola en general, aprovechen �l.
>
> Comenzamos bien el a�o :-)

Muy bien, la verdad.

Correct�simo el resultado :-)

--
Otros para ti,
Javier de la Cueva

Reply all
Reply to author
Forward
0 new messages