Quien cobra la obra. Plataforma de contratación del Estado

[Jose Maria Martin]

Buenas,

soy Jose M. Martín.

trabajo en TI, pero creo poco código...


Como comentaba en twitter (https://twitter.com/Jmartinz71/status/625975459159900160) en https://github.com/jmartinz/pyCrawler/tree/master/10.contratacionE tengo un script python que saca los datos fundamentales de los contratos (sólo para ministerios) y los guarda en una BBDD

Es bastante burdo y tiene bastantes dependencias:

• BeautifulSoup (http://www.crummy.com/software/BeautifulSoup/)
• Selenium (http://docs.seleniumhq.org/)
• phantomjs (http://phantomjs.org/) -- Solamente si se utiliza el driver 2
• peewee (https://pypi.python.org/pypi/peewee) --

Además los datos que están en la pantalla de detalle de la licitación (Procedimiento de Contratación, adjudicatario....) no los saco todavía...

Supongo que vosotros lo tendréis ya resuelto... A mí, al menos, me está sirivendo para enredar con python e ir aprendiendo cómo se obtienen datos de las webs...

Lo que me gustaría llegar a hacer es algo parecido a "adjudicacioens vs. partidas" (http://sevillapresus.blogspot.com.es/p/blog-page_2498.html) ...

Un saludo,

Jose M.

[David Cabo]

 Hola Jose, yo estoy de vacaciones, en unas semanas vuelvo, me pongo con Quién Cobra La Obra y miro esto que comentas.

 un saludo,

/david

[José Félix Ontañón]

ᐧ

El 2 de agosto de 2015, 1:40, Jose Maria Martin <jose.maria....@gmail.com> escribió:

Lo que me gustaría llegar a hacer es algo parecido a "adjudicacioens vs. partidas" (http://sevillapresus.blogspot.com.es/p/blog-page_2498.html) ...

Gracias por la referencia José María. Ciertamente tenemos Sevilla Presus un poco abandonado.

My 2 cents: el logro fue tener en formato hoja de cálculo: 

* Por un lado los presupuestos con los códigos de la triple clasificación presupuestaria

* Por otro lado las adjudicaciones, cada una con la partida presupuestaria a cargo de la cual va.

Lo demás: coser y visualizar.
Un saludo.

--

J. Félix Ontañón about.me/fontanon

[Jose Maria Martin]

Gracias!!!

En https://contrataciondelestado.es no soy capaz de encontrar la aplicación presupuestaria de los contratos adjudicados.  En algún pliego está... pero creo que no en todos... Pero no me he metido a fondo a verlo.

Sigo, poco a poco, con los scrits.
Sacar los datos que vienen directamente en la búsqueda no es muy lento (las 280 licitaciones del msssi de 2015 en 37 s) Lo que es muy lento es la obtención de los detalles (sin entrar en la documentación de cada estado) de cada uno de ellos (esas mismas 280 licitaciones 1063 s aprox 3.8 s/licitación) .

Al menos se pude dejar trabajando en fondo...

[Diego pascual lopez]

Buenas Jose,

No lo he mirado con atencion el codigo, pero para acelerar un poco la extraccion de datos tiraras de https://docs.python.org/2/library/multiprocessing.html te creas un pool, tampoco aprietes mucho el numero de peticiones concurrentes por que te pueden banear la ip, o puedes crearte un pool de proxys y asi te lo puedes sacar en na.

Mucha suerte con esto gente!!!!