[hugid] Ask About HIgh Availability in HDFS Namenode

[Digit Oktavianto]

Halo kawan semua, saya sedang mengadakan riset mengenai HA pada Namenode HDFS. Saat ini sudah ada beberapa teknik yang memungkinkan untuk membuat Namenode HDFS menjadi HA. SAlah satunya adalah dengan menggunakan Heartbeat + DRBD. Ada juga teknik menggunakan AvatarNode / JIRA, namun sepertinya amsih banyak terdapat BUG. DAn amsih dalam highly development. Kemarin Rizki Nanda memberikan opini menggunakan GlusterFS, namun saya sendiri belum mencobanya, baru membayangkan. Apakah di antara teman-teman disni sudah pernah ada yg implementasi langsung atau mempunyai ide? Atau mungkn bisa memberikan referensi paper, blog atau tulisan mengenai HA di Namenode HDFS ini? SAya mohon bantuannya. Terima Kasih sebelumnya :)

NB : ini Beberapa Link terkait yang berhasil saya temukan
1. http://gnawux.info/hadoop/2010/01/pratice-of-namenode-cluster-for-hdfs-ha/
2. http://hadoopblog.blogspot.com/2010/02/hadoop-namenode-high-availability.html.
3. www.cloudera.com/blog/2009/07/hadoop-ha-configuration

--
Digit Oktavianto
www.digitoktavianto.web.id

--
Website Hadoop User Group Indonesia: http://hugid.org
You received this message because you are subscribed to the Google
Groups "hugid" group.
To post to this group, send email to hu...@googlegroups.com
To unsubscribe from this group, send email to
hugid+un...@googlegroups.com
For more options, visit this group at
http://groups.google.com/group/hugid?hl=en?hl=en

[crazynuxer]

2010/5/19 Digit Oktavianto <digit.ok...@gmail.com>:

> Halo kawan semua, saya sedang mengadakan riset mengenai HA pada Namenode
> HDFS. Saat ini sudah ada beberapa teknik yang memungkinkan untuk membuat
> Namenode HDFS menjadi HA. SAlah satunya adalah dengan menggunakan Heartbeat
> + DRBD. Ada juga teknik menggunakan AvatarNode / JIRA, namun sepertinya
> amsih banyak terdapat BUG. DAn amsih dalam highly development. Kemarin Rizki
> Nanda memberikan opini menggunakan GlusterFS, namun saya sendiri belum
> mencobanya, baru membayangkan. Apakah di antara teman-teman disni sudah
> pernah ada yg implementasi langsung atau mempunyai ide? Atau mungkn bisa
> memberikan referensi paper, blog atau tulisan mengenai HA di Namenode HDFS
> ini? SAya mohon bantuannya. Terima Kasih sebelumnya :)
>
> NB : ini Beberapa Link terkait yang berhasil saya temukan
> 1.
> http://gnawux.info/hadoop/2010/01/pratice-of-namenode-cluster-for-hdfs-ha/
> 2.
> http://hadoopblog.blogspot.com/2010/02/hadoop-namenode-high-availability.html.
> 3. www.cloudera.com/blog/2009/07/hadoop-ha-configuration
>
> --
> Digit Oktavianto
> www.digitoktavianto.web.id
>

mantap git :). dishare dong ilmunya :p

--
-everything will be okay in the end, if it's not okay, it's not the end
-tumbang tujuh kali, itu berarti kita harus mampu berdiri delapan kali

http://rizki.us
crazy...@gmail.com

[Buyung Bahari]

crazynuxer wrote:
> 2010/5/19 Digit Oktavianto <digit.ok...@gmail.com>:
>
>> Halo kawan semua, saya sedang mengadakan riset mengenai HA pada Namenode
>> HDFS. Saat ini sudah ada beberapa teknik yang memungkinkan untuk membuat
>> Namenode HDFS menjadi HA. SAlah satunya adalah dengan menggunakan Heartbeat
>> + DRBD. Ada juga teknik menggunakan AvatarNode / JIRA, namun sepertinya
>> amsih banyak terdapat BUG. DAn amsih dalam highly development. Kemarin Rizki
>> Nanda memberikan opini menggunakan GlusterFS, namun saya sendiri belum
>> mencobanya, baru membayangkan. Apakah di antara teman-teman disni sudah
>> pernah ada yg implementasi langsung atau mempunyai ide? Atau mungkn bisa
>> memberikan referensi paper, blog atau tulisan mengenai HA di Namenode HDFS
>> ini? SAya mohon bantuannya. Terima Kasih sebelumnya :)
>>
>> NB : ini Beberapa Link terkait yang berhasil saya temukan
>> 1.
>> http://gnawux.info/hadoop/2010/01/pratice-of-namenode-cluster-for-hdfs-ha/
>> 2.
>> http://hadoopblog.blogspot.com/2010/02/hadoop-namenode-high-availability.html.
>> 3. www.cloudera.com/blog/2009/07/hadoop-ha-configuration
>>
>> --
>> Digit Oktavianto
>> www.digitoktavianto.web.id
>>
>>
> mantap git :). dishare dong ilmunya :p
>
>

Wah kalau ini belom pernah coba. Sepertinya patut dicoba, iya g ki.
Tinggal tunggu ada waktu :)

[crazynuxer]

>>
>> mantap git :). dishare dong ilmunya :p
>>
>>
>
> Wah kalau ini belom pernah coba. Sepertinya patut dicoba, iya g ki. Tinggal
> tunggu ada waktu :)
>

wah gue2 ga ikut2 deh :p, maklum newbie

--
-everything will be okay in the end, if it's not okay, it's not the end
-tumbang tujuh kali, itu berarti kita harus mampu berdiri delapan kali

http://rizki.us
crazy...@gmail.com

[Digit Oktavianto]

Wah kalau mau coba ikutan dong, skalian belajar dari para master nih :)

(worship)

Metode yang Umum digunakan, dan sudah di implementasikan menggunakan
Heartbeat + DRBD. Dokumen dari Cloudera pun juga menggunakan Heartbeat
+ DRBD Sebagai media HA nya. Sedangkan ada Dhroba Bhorthakur developer
FB dan Yahoo dari India, menggunakan JIRA / AvatarNode. SAyangnya JIRA
ini masih dalam tahap pengembangan. Masih terdapat minor bug kalau di
lihat dari Pekerjaannya. Saya menemukan teknik baru lagi, setelah
sempat beremail2ain dengan Researcher IBM dari China, dia memberikan
Paper mengenai HA di HDFS ini. Cuma saya baca2 dikit belum mudeng.
(BAru dikirim pagi ini di email) Ini saya sertakan mungkin teman2 yang
udah mantep bisa ikutan share juga :)

Terima Kasih
--
Digit Oktavianto
www.digitoktavianto.web.id