Hadoop User Group recherche un utilisateur Pallet-Hadoop

[Bertrand Dechoux]

Bonjour à tous,

Le Hadoop User Group France se réunit de façon mensuelle pour partager
autour d'Apache Hadoop.
http://hugfrance.fr/

Cascalog a déjà été présenté brièvement. Un autre sujet d’intérêt
commun entre la communauté Clojure et la communauté Hadoop est le
projet Pallet, et plus exactement Pallet-Hadoop.
http://palletops.com/create-hadoop-clusters-the-easy-peasy-way-wit/

Si vous êtes un bon connaisseur du sujet, un utilisateur averti ou un
contributeur, on vous attend pour une présentation. Alors n'hésitez à
vous proposer! C'est une opportunité unique pour vous mettre en avant
et contribuer à la communauté Clojure et à la communauté Hadoop.

Surement à bientôt

Bertrand

[François Le Lay]

Bonjour,

J'ai fait pas mal d'essais avec pallet-hadoop mais pour le moment je ne l'utilise pas en prod (j'utilise juju).

Lors de ma dernière utilisation qui remonte à 2/3 mois, les problématiques que j'avais identifiées étaient les suivantes: 

- faire évoluer pallet-hadoop pour bien prendre en compte les évolutions de pallet présentes en 0.6.x qui s'appuie sur des versions plus matures de jclouds,

- fixer un problème lié au setup de Java sur des distros comme ubuntu depuis le changement de licence d'Oracle,

- gestion des AMI customisées en zône AWS europe (de mémoire j'avais trouvé le truc),

- gestion des EBS et de la persistence des données stockées sur HDFS

Je ne sais pas si les choses ont bougé depuis, je vais regarder. 

J'avais eu l'occasion d'échanger sur le sujet avec Hugo Duncan et Toni Batchelli lors de mon passage à Clojure/West (où j'ai d'ailleurs assisté au training cascalog). A Clojure/West Toni avait fait sa présentation Pallet en s'appuyant justement sur un exemple de déploiement hadoop, celle-ci est disponible sur le github des slides de la conf : https://raw.github.com/strangeloop/clojurewest2012-slides/master/tbatchelli-pallet-devops-for-the-jvm.pdf

En ce qui concerne l'idée de faire une présentation sur le sujet, je pense que c'est évidemment opportun. En revanche je serai assez pour aller plus loin et pour organiser une/des hacking session(s) dont le but serait de progresser dans l'utilisation de Clojure en s'appuyant justement sur la branche development de pallet-hadoop sur laquelle Sam Ritchie a avancé l'hiver dernier. Je vais voir aussi du côté de Toni s'il n'a pas une branche qui servirait de support également. Des motivés?

François Le Lay

@lelayf

2012/5/29 Bertrand Dechoux <dech...@gmail.com>

[Bertrand Dechoux]

Concernant le HUG, n’hésite pas un proposer un talk sur http://hugfrance.fr.
Cela peut être par exemple un retour d’expérience sur pallet-hadoop / juju. On cherche actuellement des présentations sur des utilisations non triviales de MapReduce. Mais tout ce que tu juges être intéressant à partager est également bon à présenter/proposer.
Un des organisateurs te recontactera si besoin pour itérer sur le sujet et fixer une date.

Concernant le CUG, je fais parti des motivés pour une session de hacking sur Pallet-Hadoop. Par contre, peut être pas tout de suite. Je suis relativement nouveau à Clojure, j'ai reçu ma copie du @clojurebook et je souhaite avoir un peu de temps avant afin de pouvoir l'assimiler. Cela reste une bonne idée pour une prochaine session. Je ne doute pas qu'il y a d'autres personnes intéressées. Qui êtes vous?

Bertrand

PS : reference : https://juju.ubuntu.com/

2012/5/29 François Le Lay <mfw...@gmail.com>

--
Bertrand Dechoux

[Denis Labaye]

Hello,

Je suis quadruplement motive pour des sessions de hacking pallet:
1) Du point de vue purement langage Clojure: La partie DSL qui permet
de generer des scripts shell (stevedore) est tres interessante
2) D'un point de vue perso: J'utilise enormement VirtualBox, et je
suis tres interesse a l'idee de pouvoir automatiser mes manip de
VMs (vmfest)
3) D'un point de vue pro: On fait des deployements de clusters Hadoop,
il y a beaucoup de parties manuelle, pallet pourrait grandement
aider.
4) Pas tres loin de pallet (deploying Hadoop), il y a Cascalog
(querying Hadoop), pareil un sujet que j'aimerais beaucoup
approfondir.

Denis

On May 29, 1:57 pm, Bertrand Dechoux <decho...@gmail.com> wrote:
> Concernant le HUG, n’hésite pas un proposer un talk surhttp://hugfrance.fr.

> >https://raw.github.com/strangeloop/clojurewest2012-slides/master/tbat...

>
> > En ce qui concerne l'idée de faire une présentation sur le sujet, je pense
> > que c'est évidemment opportun. En revanche je serai assez pour aller plus
> > loin et pour organiser une/des hacking session(s) dont le but serait de
> > progresser dans l'utilisation de Clojure en s'appuyant justement sur la
> > branche development de pallet-hadoop sur laquelle Sam Ritchie a avancé
> > l'hiver dernier. Je vais voir aussi du côté de Toni s'il n'a pas une
> > branche qui servirait de support également. Des motivés?
>
> > François Le Lay
> > @lelayf
>

> > 2012/5/29 Bertrand Dechoux <decho...@gmail.com>

[eniotna]

Bonsoir,

Interesse.

- J'ai bcp utilise virtualbox mais manuellement, l'idee de pouvoir automatiser via clojure sur ma machine perso dans un premier temps me fait triper :D

- Apres j'ai sur mon projet des deploiements de cluster hadoop donc ca pourrait etre mutualiser.
Ca permettrait de challenger les solutions courantes actuelles.

- J'automatise egalement bcp de choses et malheureusement encore trop souvent en bash a mon gout.
J'ai reussi a amener les scripts bash sur le projet l'an passe.
Avec plein de petites choses, j'aime croire qu'on peut reussir a faire la meme chose avec clj...

- Egalement interesse par la partie cascalog qui me permettrait de requeter des informations plus rapidement en clojure qu'en java (interaction directe du repl a la couche de persistance plutot que par des tests).

Bonne soiree

Toine