Materiale Hadoop/Becchi

[Alberto Mancini]

Ciao,

ecco il materiale che Niccolo' ha utilizzato per la presentazione su Hadoop.

Per la verita' arriva solo ora per  colpa mia: Niccolo' me lo aveva mandato il

giorno dopo l'incontro ma io mi sono accorto solo adesso che non lo avevo spedito sul gruppo.

Scusate ....

     Alberto.

[Niccolò Becchi]

Grande Alberto, non ci sono problemi!
Per chi fosse interessato segnalo che questo Giovedi 10 Maggio a Firenze si terrà l'Eclipse Day Florence 2013.
Una giornata intera dedicata a Java, Eclipse ed all'open source.
Alla pari degli eventi GDG è tutto gratuito, obbligatoria la registrazione.
Questo il programma:
http://www.rcp-vision.com/?page_id=4136#
A presto
Niccolò

2013/5/6 Alberto Mancini <ab.ma...@gmail.com>

--
 
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "firenze-gtug" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a firenze-gtug...@googlegroups.com.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.
 
 

[Arturo de Santis]

Grazie a entrambi,
soprattutto per la presentazione di Niccolò che è stata interessantissima e ben preparata!
Complimenti Nicco!

[Andrea Fiori]

Grazie 1000.

L'incontro è stato molto utile per avere un'idea generale più chiara su Hadoop.

Niccolò è stato cattivo perchè aveva detto veniva anche al meeting di Github ma non l'ho visto :)

Vedo se riesco a partecipare all'eclipse day!

A presto

A

[Alberto Rugnone]

Grande Alberto e Niccolo' x Il materiale!!! Non so se riuscirò a venire all' eclipse day, ad ogni modo, che cosa c'è di interessante?

[Luca]

Davvero grazie Niccolò, sei stata davvero molto istruttivo su cosa si può fare e soprattutto su cosa NON si può o deve fare con Hadoop !!!!

[Niccolò Becchi]

Ragazzi con questi ringraziamenti mi fate emozionare!
Di Hadoop vi ricorderete il giorno in cui, prima o poi sicuramente, farete un processamento dati che richiede su una singola macchina decine o centinaia di ore e non potete davvero aspettare. La scalabilità ha un costo economico (Cluster di server da 8-15.000 Euro ciascuno oppure corrispondenti sul cloud amazon al prezzo base di $2.4 all'ora) e di sviluppo.
Per iniziare, anzichè scrivere codice java Map-Reduce base come vedemmo, vi converrà partire con strumenti che facilitano come cascading: http://www.cascading.org/ (o in alternativa Pig o Hive)

(Tenete poi presente che non tutti gli algoritmi sono riscrivibili efficientemente in step map-reduce. Nel caso valutate se altri modelli di programmazione distribuita sono adattabili al vostro caso d'uso: http://giraph.apache.org/).
Chiunque abbia bisogno poi mi faccia un fischio che su queste cose ci sento un casino!

Poi scusatemi avevo fatto casino, l'Eclipse day è Venerdi e non Giovedi, ma non so ancora se riuscirò ad esserci:
http://www.eclipsedayflorence.com/
A presto

2013/5/7 Luca <luca....@gmail.com>

[Cristiano Costantini]

Ciao Niccolò!

volevo provare a rifare l'hello world del contatore di parole che ci hai mostrato all'aperitivo,

ci puoi dare indicazioni e/o righe di codice??? 

Spero tu possa trovar un po' di tempo,

grazie mille!!!

Cristiano

[Niccolò Becchi]

Ciao Cristiano,
Il codice che avevo utilizzato è un tutorial (hadoop-1.0.4/src/examples/org/apache/hadoop/examples ) della distribuzione ufficiale. Per l'esecuzione nell'ambiente hadoop simulato di eclipse (local-mode) trovi tutto qui:
https://dl.dropboxusercontent.com/u/7335663/demoWordCount.zip
Dovrai creare un nuovo progetto java in eclipse e poi:

1. Includere il sorgente WordCount.java.
   
2. Decomprimere lib.zip ed includere nel progetto tutte le librerie nel build path con il comando "add external Jar"
   (Tra i jar trovi hadoop-core-1.0.4.jar, che è un qualcosa di particolare. Permettere di simulare hadoop in eclipse e dovrà essere inclusa solamente in eclipse per l'esecuzione local mode. Essa non dovrà essere incapsulata nel jar che andrà deployato sull'hadoop reale)
   
   
3. Impostare gli argomenti dell'applicativo (Run Configuration => Arguments => Program Arguments) e lanciare:
     es. /var/tmp/la_divin.txt /var/tmp/out_conteggio
   

Per l'esecuzione dello stesso codice su un'installazione hadoop reale innanzitutto dovrai installare hadoop. Ti consiglio di seguire passo passo una guida, perche le cose diventano un pochino più complicate. Sul mio portatile ubuntu usai questa guida fatta parecchio bene (se tutto ti funzionerà in fondo troverai anche anche il WordCount): http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
Questo il link alla documentazione ufficiale:
http://hadoop.apache.org/docs/stable/

Tienimi aggiornato! A presto
Niccolò

2013/5/8 Cristiano Costantini <cristiano....@gmail.com>

[Cristiano Costantini]

Grazie Niccolò!

Proverò a rifarlo quanto prima, con un unica eccezione: sono un fanatico di Maven e cercherò di assoggettarlo a questo tool, quindi ci metterò un po' ma poi ti farò sapere come è andata a finire.

Grazie ancora!!!