Gruppo analisi di rete dei progetti FP7: grazie e come proseguire

[Alberto]

Ragazze/i, grazie davvero a tutti per i vostri contributi! Nei prossimi giorni penso di continuare a mettere un po' di tempo sull'hackathon. Quindi:

1. aggiornata la prospettiva Tulip e caricati i files .tlp
2. abbiamo deciso di usare il wiki per caricare i risultati dei vari sottogruppi. Il lavoro di oggi sulla struttura di rete è già caricato in bozza, comprese le figure fatte oggi. Stefano, Alessandro e gli altri: mettete i vostri semilavorati in altre pagine del wiki. Io ho scritto in inglese, ma voi scrivete pure in italiano.
3. In futuro, io lavorerei su: interpretazione e arricchimento dell'analisi con dei dati finanziari riferiti ai nodi. Stefano ha proposto di fare questa seconda cosa ipotizzando che ciascuno degli n partner in un progetto beneficiario di un contributo UE di C riceva un contributo pari a C/n. Credo che si riesca a fare questo senza dovere rifare il lavoro.
   
4. Per fare tutto questo, avete bisogno di accesso a GitHub. Se non siete già iscritti a GitHub, iscrivetevi; poi mettete qui in lista il vostro username, così vi aggiungo al team che ha accesso ai repositories di SOD.
   

[karloff]

Se può esseere utile per il punto 3, per il settore ICT del FP7 sono disponibili anche i dati di finanziamento divisi per partecipante, che fa vedere quanto sia diversa la realtà rispetto all'ipotesi di ripartizione alla pari del contributo.

http://digital-agenda-data.eu/datasets/http-semantic-digital-agenda-data-eu-dataset-lead-indicators/indicators
(EC funding to private commercial organisations in FP7-ICT projects)

La banca dati che contiene tutto il dettaglio (E-CORDA) dei progetti è inaccessibile al pubblico, forse si può approfittare della public consultaion aperta fino al 22 maggio 2015 (http://ec.europa.eu/research/evaluations/index_en.cfm?pg=home) per richiedere che nella pubblicazione delle tabelle aggiornate vengano inclusi anche il ranking totale e i dati finanziari relativi ai singoli partecipanti?

Carlo

[Cima Sergio]

Noi abbiamo lavorato su questi dati di finanziamento, ci sono tutti i programmi, fp7 incluso, fino al 2013:

- http://ec.europa.eu/budget/fts/index_en.htm

Sergio

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

[Laura Camellini]

Buongiorno Alberto,
Ieri ho editato la wiki su github con il mio account (jilt)
Speravo d poterci lavorare ancora con nodebox nei giorni prossimi, a breve sarò a Bologna così c spieghiamo d persona

Ciao,
LauraC

[Alberto]

Laura, quindi capisco che non hai bisogno di essere aggiunta al team su GitHub, no?

On Sunday, 29 March 2015 10:26:19 UTC+2, Laura Camellini wrote:

Buongiorno Alberto,
Ieri ho editato la wiki su github con il mio account (jilt)
Speravo d poterci lavorare ancora con nodebox nei giorni prossimi, a breve sarò a Bologna così c spieghiamo d persona

Ciao,
LauraC

Il 29/mar/2015 09:25 "Cima Sergio" <sergi...@gmail.com> ha scritto:

Noi abbiamo lavorato su questi dati di finanziamento, ci sono tutti i programmi, fp7 incluso, fino al 2013:

- http://ec.europa.eu/budget/fts/index_en.htm

Sergio

On 29 Mar 2015, at 09:08, karloff <karl....@gmail.com> wrote:

Se può esseere utile per il punto 3, per il settore ICT del FP7 sono disponibili anche i dati di finanziamento divisi per partecipante, che fa vedere quanto sia diversa la realtà rispetto all'ipotesi di ripartizione alla pari del contributo.

http://digital-agenda-data.eu/datasets/http-semantic-digital-agenda-data-eu-dataset-lead-indicators/indicators
(EC funding to private commercial organisations in FP7-ICT projects)

La banca dati che contiene tutto il dettaglio (E-CORDA) dei progetti è inaccessibile al pubblico, forse si può approfittare della public consultaion aperta fino al 22 maggio 2015 (http://ec.europa.eu/research/evaluations/index_en.cfm?pg=home) per richiedere che nella pubblicazione delle tabelle aggiornate vengano inclusi anche il ranking totale e i dati finanziari relativi ai singoli partecipanti?

Carlo

On Sunday, March 29, 2015 at 12:13:31 AM UTC+1, Alberto wrote:

Ragazze/i, grazie davvero a tutti per i vostri contributi! Nei prossimi giorni penso di continuare a mettere un po' di tempo sull'hackathon. Quindi:

1. aggiornata la prospettiva Tulip e caricati i files .tlp
2. abbiamo deciso di usare il wiki per caricare i risultati dei vari sottogruppi. Il lavoro di oggi sulla struttura di rete è già caricato in bozza, comprese le figure fatte oggi. Stefano, Alessandro e gli altri: mettete i vostri semilavorati in altre pagine del wiki. Io ho scritto in inglese, ma voi scrivete pure in italiano.
3. In futuro, io lavorerei su: interpretazione e arricchimento dell'analisi con dei dati finanziari riferiti ai nodi. Stefano ha proposto di fare questa seconda cosa ipotizzando che ciascuno degli n partner in un progetto beneficiario di un contributo UE di C riceva un contributo pari a C/n. Credo che si riesca a fare questo senza dovere rifare il lavoro.
   
4. Per fare tutto questo, avete bisogno di accesso a GitHub. Se non siete già iscritti a GitHub, iscrivetevi; poi mettete qui in lista il vostro username, così vi aggiungo al team che ha accesso ai repositories di SOD.
   

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.

Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopendata+unsubscribe@googlegroups.com.

[Stefano Durì]

Carlo ha perfettamente ragione sulla quota. Il mio infatti non voleva essere un tentativo di approssimare il valore reale, ma solo un modo per assegnare a ogni progetto (e a ogni partecipante al progetto) un indicatore che tenga conto contemporaneamente di dimensione assoluta del progetto e numero di partecipanti. Pensandoci su, forse non è una gran idea.

Il ragionamento che va fatto, secondo me, è comunque questo:

a) decidere se utilizzare il valore del progetto o il contributo europeo (che è <= al primo). Nel primo caso ragioniamo (almeno in teoria) della dimensione "reale", nel secondo del finanziamento ricevuto. Se ci interessa la distribuzione della "torta" è il secondo quello rilevante.

b) decidere se utilizzare il valore assoluto in euro, quello normalizzato per il n. di partecipanti o un indicatore di "importanza" relativa del progetto, ad es. il quantile in cui si colloca il valore scelto. BTW, la distribuzione del valore dei progetti varia molto tra i vari sottoprogrammi del FP7 e al loro interno (v. distribuzione del valore e del finanziamento) e la quota di finanziamento pure, essendo funzione di set di regole specifici.

Per quanto riguarda le elaborazioni già fatte e da fare, sono abituato a usare Google e conosco poco Github, quindi scusatemi ma penso che continuerò a usare la cartella condivisa, almeno per gli appunti, poi vedo

[Alfredo Serafini]

PS: ciao scusatemi se vi "spio" :-)
se non sbaglio zapier: https://zapier.com/zapbook/github/google-docs/ dovrebbe consentire di sincronizzare (almeno a livello basilare) dei fogli excel su github.
Altrimenti -da valutare se si rinnoverà il server per spaghettiopendata- si possono usare cose come sparkleshare (http://sparkleshare.org/): una volta installato il client funziona in tutto e per tutto come una specie di Dropbox, che però sincronizza ogni salvataggio tramite una commit/pull via git. Si può usarlo sul proprio server git, o anche su github/bitbucket/gitlab direttamente ;-)
Potrebbe essere un ottimo compromesso per editare localmente e sincronizzare, sennò vedi opzione sopra.

PPS: se avete cose su cui si può dare supporto a valle dell'hackathon in termini di programmazione, fateci un fischio! :-)

[Andrea Zanni]

Ciao a tutti,

una domanda sull'analisi: premesso che io ho visto solo la presentazione del lavoro,

mi chiedevo se ci sono già ipotesi sul perchè quella che all'apparenza doveva essere una distribuzione quasi casuale (alberto diceva "meritocrazia = random")

invece sia una classica curva da legge di potenza.

Solitamente queste accadono quando c'è l'"effetto matteo", cioè quando c'è un vantaggio competitivo che fa gravitare le risorse su quelli che già sono più grossi.

Mi pare si fosse detto che si tende a fare progetti europei con chi li ha già vinti e ha già esperienza,

mi chiedo se questo sia l'unico fattore.

Andrea 

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.

[Matteo Fortini]

Altra ipotesi accreditata è che i fondi siano di fatto gestiti (per esperienza pregressa, per potenza di fuoco, per capacità di scrivere i progetti in modo "corretto") da pochi pesci grossi che poi fanno da mediatori con i pesci piccoli.

[Stefano Durì]

in effetti una variabile che non abbiamo considerato è il tempo. Stiamo parlando di un periodo che va (se buttiamo via alcuni progetti senza data o del FP6) dal 2007 al 2014, Sarebbe interessante vedere come evolve il sistema di relazioni di un'organizzazione grossa come il CNRS o il Fraunhofer. Nelle elaborazioni fatte fino ad ora vediamo tutto come "simultaneo".

[Andrea Maurino]

per prima cosa complimenti per il lavoro fatto!
sulla distribuzione dei fondi sicuramente esistono (parlo per le call ict, ma forse si può estendere il ragionamento ad altri settori) aziende e centri di ricerca che hanno una divisione "progetto europei" e dunque hanno personale dedicato alla scrittura di proposte indipendentemente se si parla di call di ehealth, automotive, internet of things...
mentre molte piccole e medie aziende (ma vale anche per le università e centri di ricerca) partecipano a call solo se sono nel loro "business".

esistono poi "leggende metropolitane" (diciamo così...) per cui alcune call di alcune aree sono scritte direttamente da quelle due o tre grosse aziende che poi le vinceranno....come tutte le leggende un po di verità esiste.

vorrei chiedervi se almeno per le aziende quotate in borsa (o solo un sottoinsieme) è stata fatta una correlazione fra quantità di finanziamento europei ottenuti e performance aziendali per capire se i finanziamenti sono in qualche maniera serviti.

appena ho un po do tempo guardo meglio i dati sul fronte "universitario"

andrea

[Andrea Maurino]

vi segnalo che hanno  pubblicato in formato open (ma senza licenza mi sembra di vedere) questo dataset sui primi progetti H2020 https://open-data.europa.eu/en/data/dataset/cordis-h2020-projects

Sul lavoro fatto fino ad ora volevo fare una piccola riflessione sui risultati e proporre altre analisi.

il risultato del lavoro mostra che le organizzazioni più "premiate" da fp7 sono stati il cnr e i suoi "simili" in francia e germania. ora il CNR (e gli altri) fanno ricerca su tutto lo scibile umano con decine di istituti per ogni area ognuno con decine di gruppi di ricerca dunque è chiaro che in quanto impegnati su tutti fronti di fp7 sono le organizzazioni che prendono più fondi. 

un contributo più interessante potrebbe essere per i vari temi di fp7 e per programmeCode e per subprogramme l'organizzazione che ha partecipato a più progetti e quella  che ha avuto il finanziamento globale "maggiore" 

 appena ho un po di tempo cerco di guardare i dati

Andrea 

[Stefano Durì]

Andrea, sto cercando di ripulire i dati (che hanno vari problemi), poi li pubblico nel folder condiviso con qualche spiega. Forse riesco a farlo entro stasera

[Stefano Durì]

adesso nel folder ci sono i file che contengono

• progetti ripuliti di campi testuali
  
• organizzazioni con id univoco ottenuto da un algoritmo (basato solo in parte sul nome) e numero di progetti
  
• relazione tra codice paese partecipante e id progetto
  
• relazione tra id organizzazione e id progetto
  
• zip con gli archi tra id org e id progetto (circa 882k) e tra le org partecipanti agli stessi progetti (678k)
• un doc con la sintesi del lavoro svolto

(e speriamo di non aver fatto errori drammatici)

Ho usato kettle e R. Il job più lungo (attorno ai 15') è quello che genera gli 882k edge, per tutto il resto siamo attorno al minuto

Approfitto per ringraziare tutto il gruppo che ha partecipato alla discussione / elaborazione dei dati fp7. Per me è sempre molto stimolante partecipare a gruppi che comprendono esperti di dominio e esperti di analisi dei dati, specie quando ho da imparare su entrambi i fronti. Se dovessi immaginare un business model per SOD direi che il punto di forza è proprio in questo saldarsi di competenze, che secondo me vengono esaltate proprio dal confronto e non dalla somma in capo al singolo individuo

[Alberto]

Stefano: ottimo lavoro! 

Ti faccio una domanda. Visto che sei così veloce nell'elaborazione, è pensabile che ti calcoli, per ciascuna organizzazione unica, una stima (ovviamente ipergrossolana) dei finanziamenti ricevuti? Questo si farebbe così: 

per ogni organizzazione

      finanziamenti_organizzazione = 0

      per ogni progetto:

          se organizzazione partecipa a progetto_

               finanziamenti_organizzazione += progetto [contributo] / numero partecipanti al progetto

Se tu fai questo, e mi esporti il file progetti e il file organizzazioni in CSV o JSON io poi li metto su Tulip, e dovrebbe essere veloce perché faccio meno loop dentro ai loop dentro ai loop. Questo serve a fare una heat map dei contributi, che potrebbe dare una mano alla visualizzazione. 

[Marco Scarselli]

Buon pomeriggio a tutti,

mi son distratto un attimo è vedo che siete già andati avanti alla grande:)

Provo a dare il mio contributo di arricchimento dei dati per la Sna rispetto a quello che chiede Alberto:

se ho capito bene ti servirebbe un file con queste colonne

[Progetti, Partner di Progetto, Contributo diviso per i partner dello specifico progetto]

che ho realizzato qua sotto

https://github.com/scarsellifi/esperimentiSOD/blob/master/contributoProgettoXPartner.csv

Qui la procedura per verificare che abbia interpretato bene 

sia i file che ho utilizzato 

sia che il risultato rispecchi le necessità della nostra esplorazione

http://nbviewer.ipython.org/github/scarsellifi/esperimentiSOD/blob/master/Stima%20contributo%20Progetto%20per%20Partner.ipynb

https://github.com/scarsellifi/esperimentiSOD

ciao e 

a presto

Marco

 

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "Spaghetti Open Data" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a spaghettiopend...@googlegroups.com.
Visita questo gruppo all'indirizzo http://groups.google.com/group/spaghettiopendata.
Per altre opzioni visita https://groups.google.com/d/optout.

--

Marco Scarselli

Cel. +39 3470604651

Skype: scarselli_rs

[Stefano Durì]

grazie Marco, secondo me va bene. Terrei nel file finale anche il num. dei partecipanti, benché ridondante.

C'è da notare che in un buon numero di progetti (574 su 25788) il numero dei partecipanti ottenuto contandoli nel file progetti originale e quello ottenuto dopo aver applicato il mio algoritmo di individuazione delle org. uniche è diverso, perché vari partecipanti hanno lo stesso url. Ad es.

quelle indicate in progetto sono 8

POLITEHNICA UNIVERSITY BUCHAREST

EXECUTIVE AGENCY FOR HIGHER EDUCATION AND RESEARCH FUNDING

RESEARCH INSTITUTE FOR ARTIFICIAL INTELLIGENC

CHAMBER OF COMMERCE AND INDUSTRY OF ROMANIA AND BUCHAREST

IMEDIASOFT SARL

IMEDIASOFT ROMANIA

NATIONAL INSTITUTE FOR RESEARCH AND DEVELOPMENT IN MICROTECHNOLOGIES con url http://www.imt.ro

NATIONAL UNIVERSITY RESEARCH COUNCIL con url http://www.imt.ro

le org uniche sono

5540;;CHAMBER OF COMMERCE AND INDUSTRY OF ROMANIA AND BUCHAREST;;http://www.cccir.ro;;RO;2, OCTAVIAN GOGA Blvd;BUCHAREST;;;1

9973;;EXECUTIVE AGENCY FOR HIGHER EDUCATION AND RESEARCH FUNDING;;http://www.cncsis.ro;;RO;1 Schitu Magureanu Ave;BUCHAREST;;;2

13887;;IMEDIASOFT ROMANIA;;http://www.imediasoft.ro;;RO;22, Bd. Libertatii;BUCHAREST;;;1

13888;;IMEDIASOFT SARL;;http://www.imediasoft.org;;FR;29, boulevard des Alpes;MEYLAN;;;1

15260;;NATIONAL INSTITUTE FOR RESEARCH AND DEVELOPMENT IN MICROTECHNOLOGIES, BUCHAREST, ROMANIA;IMT;http://www.imt.ro;;RO;Erou lancu Nicolae nr. 32 B;BUCHAREST;;;14

22426;;POLITEHNICA UNIVERSITY BUCHAREST;;http://www.pub.ro;;RO;313, Splaiul Independentei;BUCHAREST;;;7

23688;;RESEARCH INSTITUTE FOR ARTIFICIAL INTELLIGENCE;;http://www.racai.ro;;RO;"Calea ""13 Septembrie"", no. 13";BUCHAREST;;;1

Notare che il nome finale non è nessuno dei primi due, perché lo stesso url è presente 4 volte tra le org e quindi i dati sono stati pescati in un'ltra riga del file

[Alberto]

Ciao Marco, sei un grande.

Ma il file che serve ha un'altra struttura. Stefano è a un passo dall'avere i files definitivi, che hanno tutto dentro e consentono una costruzione relativamente veloce del grafo (io ci ho messo sette ore l'altra volta). Se ho capito bene, basta aggiungere una colonna a questo file; la colonna rappresenta la somma di tutti i contributi ricevuti da quell'organizzazione sui progetti a cui ha partecipato.  

Non credo valga la pena di calcolare nuovi files. Basta aggiornare quest'unico file e posso costruire sia il grafo bipartito (progetti/organizzazioni) sia quello proiettato (organizzazioni/organizzazioni).

Stefano, una domanda: i 682K edge del grafo organizzazioni-organizzazioni sono unici per ogni paio di organizzazioni? Cioè: se A e B hanno fatto tre progetti insieme, tu hai tre edges che li collega o solo uno?

[Stefano Durì]

scusate, adesso ho capito meglio (credo) e dovrei riuscire a produrre il file a breve. 

Gli edges di cui mi chiedi sono unici e pesati con il numero di ripetizioni (= numero di collaborazioni tra le due org)

[Stefano Durì]

ho elaborato nuovi file

- progetti, comprensivo di paesi partecipanti, numero partecipanti da da descr. progetto, num partecipanti unici, valore della "quota" di finanziamento per ogni part. unico

- organizzazioni, comprensivo di n. progetti a cui hanno partecipato e somma delle relative quote 

- nello zip "edges.zip": 

(a) edges.csv = org <-> progetto

(b) unique_edges.csv = org1 <-> org2, dove ogni arco rappresenta un legame tra due organizzazioni, pesato dal numero di progetti compartecipati e dalla somma delle relative quote

Alberto, se ho capito bene, questi sono i dati che ti servono (a) per il grafo basato sui progetti e (b) per quello che collega direttamente le organizzazioni. Nel caso (b) hai a disposizione due possibili pesi, o puoi addirittura usarne un terzo, calcolando la quota media per progetto compartecipato

[Alberto]

Stefano, hai capito bene.

L'unica cosa che voglio capire è: quali sono le proprietà degli oggetti-progetto e degli oggetti-organizzazione a cui fai riferimento? Immagino che per i progetti sia il campo reference, mentre per le organizzazioni sia il campo org_id. Giusto?

[Stefano Durì]

se intendi l'identificativo, quello del progetto è rcn, quello dell'organizzazione è org_id

[Alberto]

Ricevuto. Ultima cosa: nel file unique_edges.csv, cosa vuol dire sum_shares?

[Stefano Durì]

a ogni progetto è associato il valore di una "quota" pari al valore del finanziamento del progetto (colonna "ecMaxContribution" del file Progetti) / numero dei partecipanti al progetto stesso (quelli individuati univocamente da org_id in base al mio algoritmo). Nel file unique_edges.csv sono presenti gli archi che collegano id di organizzazioni che hanno collaborato in almeno 1 progetto. Il numero di collaborazioni è nella colonna num_projects, mentre sum_shares è la somma delle quote relative ai progetti. Non ha un senso economico, naturalmente, ma forse può essere utilizzata come indicatore sintetico del "peso" di una relazione tra organizzazioni

è la somma dei valori delle quote relative ai progetti in cui le due org collegate dall'arco collaborano

[Stefano Durì]

continuo a rimuginare sui dati e ci trovo nuove incongruenze. L'ultima in ordine di tempo: l'organisationId presente nel file originale dei progetti non identifica sempre il coordinatore. Questo impatta (poco, ma qualcosa sì) sull'assegnazione degli id unici.

Ad es. il codice 10181121 compare in 19 progetti in cui il CNR è sempre presente ma coordinatore solo 16 volte (nelle altre sono BIOSENSOR S.R.L., LIGHT4TECH FIRENZE SR e L BZ MODA SRL.)

Rifaccio girare tutto e aggiorno i file. Poi basta