Scraping membri gruppo facebook opendatasicilia

[Andrea Nelson Mauro]

Cari opendatari,

Essendo mattinata di scraping, ho estratto anche l'elenco dei membri del gruppo facebook 

https://docs.google.com/spreadsheets/d/1mJazHu911mCU0B-NUuCXV0Di6WmQ_cBp5p66WOyGwDE/edit?usp=sharing

Il tutto si fa con dataminer (estensione di google chrome) usando questa ricettina very easy che ho fatto

https://data-miner.io/recipe_update/40647

Adesso possono ovviamente essere effettuate ricerche più comode sul gdoc

A cosa serva non so, ma almeno adesso questi dati non li ha soltanto facebook :)

besos!

--

Andrea Nelson Mauro - Datajournalist 

http://dataninja.it
http://twitter.com/nelsonmau
http://it.linkedin.com/in/nelsonmau

[Totò Fiandaca]

Il giorno 27 settembre 2016 12:27, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:

Essendo mattinata di scraping, ho estratto anche l'elenco dei membri del gruppo facebook 

​devi necessariamente essere amministratore, vero?
ho cercato di farlo in un gruppo in cui sono moderatore e non riesco a 'grattare'.
Saluti ​

--

Salvatore Fiandaca
mobile.:+39 327.493.8955 
m: pigrecoin...@gmail.com

blog: https://pigrecoinfinito.wordpress.com/

43°51'0.54"N  10°34'27.62"E - EPSG:4326

“Se la conoscenza deve essere aperta a tutti,

perchè mai limitarne l’accesso?” 

R. Stallman

[cristiano longo]

Ma facebook permette il riutilizzo di questi dati?

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicilia+unsubscribe@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendatasicilia@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CADk2tET698cvS-iLQUQCnqqZg%2BogG-A6vXUuq6SL7uoR1cY24Q%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.

[Andrea Nelson Mauro | Dataninja.it]

Totò: non ho in effetti idea!
Cristiano, domanda pertinentissima ovviamente, e anzi grazie per averla fatta :)
nei terms di facebook al punto 2.4 c’è scritto:

When you publish content or information using the Public setting, 
it means that you are allowing everyone, including people off 
of Facebook, to access and use that information, 
and to associate it with you (i.e., your name and profile picture).

quindi direi che la risposta è sì.

c'è qualcuna/o che ne sa di più?

grazie!

​

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CABePjKquC5oXqC5Gsp7kjQ7hnN30Oq1T%2BGbfPvB8s1NVkYV0qw%40mail.gmail.com.

Per altre opzioni visita https://groups.google.com/d/optout.

--

Andrea Nelson Mauro - Datajournalist

dataninja.it
http://twitter.com/nelsonmau

[Filippo D'Angelo]

grande!

Inviato da Yahoo Mail su Android

Il Mar, 27 Set, 2016 alle 14:30, cristiano longo

<cristia...@gmail.com> ha scritto:

Ma facebook permette il riutilizzo di questi dati?

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicil...@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendat...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CABePjKquC5oXqC5Gsp7kjQ7hnN30Oq1T%2BGbfPvB8s1NVkYV0qw%40mail.gmail.com.

[Giuseppe Reale]

Se le policy di FB consentano il riutilizzo non saprei.. comunque OTTIMO lavoro!!!

G

Il giorno 27 settembre 2016 12:27, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:

--

Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicilia+unsubscribe@googlegroups.com.

Per postare in questo gruppo, invia un'email a opendatasicilia@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAMp3PFeQrXT67B7LfGD-DVYVfaLkYXTCC-d1zUkUjRGQzFmxYQ%40mail.gmail.com.

[cristiano longo]

Ma penso sia sufficiente. Quindi facebook è open!

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAMp3PFcqvvjS%2B2w%3DJoXJETo8FeKU9omKkU%2BARZ5ekrrTNxvDjg%40mail.gmail.com.

[andy]

2016-09-27 12:27 GMT+02:00 Andrea Nelson Mauro <andrea.ne...@gmail.com>:

Il tutto si fa con dataminer (estensione di google chrome) usando questa ricettina very easy che ho fatto

Appena fai il mini tutorial su dataminer, io faccio quello con accesso via Curl.

___________________

Andrea Borruso
website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
___________________

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

[Totò Fiandaca]

Il giorno 27 settembre 2016 16:58, andy <abor...@gmail.com> ha scritto:

Il tutto si fa con dataminer (estensione di google chrome) usando questa ricettina very easy che ho fatto

​..OOps

sbagliavo ricetta, funziona bene;

unico problema è legato al dato, tutto attaccato; quindi non mi riconosce il file CSV!!!

saluti​

[Andrea Nelson Mauro]

Totò in che senso? Quale dato attaccato?

---
sorry for typos, sent by mobile
---
Andrea Nelson Mauro
dataninja.it
twitter.com/nelsonmau

--

Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicilia+unsubscribe@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendatasicilia@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CADk2tETbxtfNO_DY_KFRMibS7FkfsuuGnHOqarr3YypSVV5CnQ%40mail.gmail.com.

[Totò Fiandaca]

Il giorno 28 settembre 2016 18:21, Andrea Nelson Mauro <andrea.ne...@gmail.com> ha scritto:

Totò in che senso? Quale dato attaccato?

​mi riferisco al dato che 'gratta' ecco un record (è relativo ad un altro gruppo facebook)

Andrea BorrusoUniversità Di PalermoPersona iscrittaUtente aggiunto da Stefano Cek circa 11 mesi faEnrico BertonatiVigile del fuoco presso Ministero degli InterniPersona iscrittaUtente aggiunto da Stefano Cek circa 3 anni fa

se noti, ci sono due persone in un record; poi il cognome è attaccato alla parola successiva!!!

​

[Andrea Nelson Mauro]

Ah ok, beh si risolve con xpath, nella formula che ho linkato dovrebbe funzionare.

Domani faccio microtutorial video screencast e lo metto qui

---
sorry for typos, sent by mobile
---
Andrea Nelson Mauro
dataninja.it
twitter.com/nelsonmau

--

Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicilia+unsubscribe@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendatasicilia@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CADk2tER43xBA-VUeusKF_E8bm3KVZf3dYNMj58yH8VkCbQ-3ow%40mail.gmail.com.

[Andrea Nelson Mauro]

Totò ecco uno screencast mini, se non si capisce lo rifaccio

https://youtu.be/1uY5QXHmxlg

per chi non l'avesse trovata, l'estensione di google chrome che ho usato per fare scraping è https://chrome.google.com/webstore/detail/data-scraper/nndknepjnldbdbepjfgmncbggmopgden

una volta installata, inserisce la funzionalità di scraping

è sufficiente selezionare un pezzo della pagina » tasto destro » data Data Miner

per personalizzare lo scraping (nel mio caso mi è servito per risolvere il fatto che i valori fossero tutti attaccati in un campo) è necessario studiarsi un po' XPATH

(per chi vuole approfondire, ci sono altri trucchi, se c'è interesse li aggiungo)

[andy]

2016-09-29 17:32 GMT+02:00 Andrea Nelson Mauro <andrea.ne...@gmail.com>:

Totò ecco uno screencast mini

Ed ecco lo screencast per ricavare l'elenco dei membri da riga di comando http://somup.com/cDQUDN56M

Senza alcune basi, non si può eseguire in autonomia. Ma ora non riesco a fare di più.

Queste le cose usate:

• il graph api explorer di fb https://developers.facebook.com/tools/explorer;
• il mitico cURL per dialogare con le API di fb;
• jq per manipolare il JSON che mi da in output fb https://stedolan.github.io/jq/;
• in2csv di csvkit per convertire il JSON in CSV http://csvkit.readthedocs.io/en/540/scripts/in2csv.html.

Baci

[Totò Fiandaca]

Grazie alle due A (Andrea^2),

ma nonostante sia alto 190, non sono ancora alla vostra altezza!!!

grazie!!!

--

Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicilia+unsubscribe@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendatasicilia@googlegroups.com.
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZNFT94fJVn7grceKJkXku%3Du6pQ%2B_qqAT4T0P%2BZnGhaOng%40mail.gmail.com.

Per altre opzioni visita https://groups.google.com/d/optout.

--

[andy]

Ma noi siamo più alti, solo perché uno sopra l'altro

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicil...@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendat...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZNFT94fJVn7grceKJkXku%3Du6pQ%2B_qqAT4T0P%2BZnGhaOng%40mail.gmail.com.

Per altre opzioni visita https://groups.google.com/d/optout.

--

Salvatore Fiandaca
mobile.:+39 327.493.8955 
m: pigrecoin...@gmail.com

blog: https://pigrecoinfinito.wordpress.com/

43°51'0.54"N  10°34'27.62"E - EPSG:4326

“Se la conoscenza deve essere aperta a tutti,

perchè mai limitarne l’accesso?” 

R. Stallman

--

Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.

Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicil...@googlegroups.com.
Per postare in questo gruppo, invia un'email a opendat...@googlegroups.com.

Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CADk2tESaNDbjV8Nj7ypYJ1Owz7WLWiEDkQ5rsH34%2B%2Bgvr8TfaA%40mail.gmail.com.