[hugid] Kenapa Ukuran Default Blok File 64MB

[Eko Kurniawan Khannedy]

temen-temen ada yang tau kenapa ukuran blok file pada HDFS itu 64MB?

--
Eko Kurniawan Khannedy
Mahasiswa Universitas Komputer Indonesia
+6285292775999

--
Website Hadoop User Group Indonesia: http://hugid.org
You received this message because you are subscribed to the Google
Groups "hugid" group.
To post to this group, send email to hu...@googlegroups.com
To unsubscribe from this group, send email to
hugid+un...@googlegroups.com
For more options, visit this group at
http://groups.google.com/group/hugid?hl=en?hl=en

[Buyung Bahari]

Ukuran Blok File pada hdfs defaultnya 64MB. Namun bisa dirubah di file
configurasi apabila ingin blok size lebih besar.

Jadi 64MB itu adalah ukuran default.

[Eko Kurniawan Khannedy]

Pada 28 April 2010 15:28, Buyung Bahari <buyung...@detik.com> menulis:

Ukuran Blok File pada hdfs defaultnya 64MB. Namun bisa dirubah di file configurasi apabila ingin blok size lebih besar.

Jadi 64MB itu adalah ukuran default.

maksud saya 

kenapa harus 64MB :D

kenapa tidak 50 atau 100MB :D 

[Ifnu bima]

> maksud saya
> kenapa harus 64MB :D
> kenapa tidak 50 atau 100MB :D

Nilai optimal setelah melalui coba-coba dan statistik. Sepertinya
bengitu. Tidak ada penjelasan filosofis, cuma hasil penelitian
empiris.



--

regards

[Buyung Bahari]

Eko Kurniawan Khannedy wrote:
>
>
> Pada 28 April 2010 15:28, Buyung Bahari <buyung...@detik.com

> <mailto:buyung...@detik.com>> menulis:

>
> Ukuran Blok File pada hdfs defaultnya 64MB. Namun bisa dirubah di
> file configurasi apabila ingin blok size lebih besar.
>
> Jadi 64MB itu adalah ukuran default.
>
>
> maksud saya
> kenapa harus 64MB :D
> kenapa tidak 50 atau 100MB :D

Sebenarnya ukuran block size tergantung bagaimana membagi proses secara
paralel, maksud saya disini adalah tergantung dari jumlah mapper dan
reducer tiap datanode. Misalnya data anda 1 GB, dan anda setting block
size 64MB, dan mapper tiap server adalah 2, maka anda membutuhkan
kira-kira 8 datanode agar data tersebut benar2 diproses secara paralel
tanpa ada yang queue (ngantri).
Kalau anda mensetting 128 MB Block size maka anda akan membutuhkan 4
server. Namun besar block size ini juga tergantung bandwidth network
yang anda sediakan, semakin besar block size, semakin besar bandwidth
yang anda gunakan untuk streaming data. Kemudian juga tergantung java
heap size tiap datanode yang disediakan yang pasti berhubungan dengan
memori.

Artinya, semakin anda dapat membagi secara tepat data anda untuk
diproses, semakin cepat dan efisien hasil yang didapatkan.

[StandAlone™]

Kalo terlalu kecil bisa overhead di IO.

powered by android

On Apr 29, 2010 8:07 AM, "Buyung Bahari" <buyung...@detik.com> wrote:

Eko Kurniawan Khannedy wrote:

Pada 28 April 2010 15:28, Buyung Bahari <buyung...@detik.com <mailto:buyung...@detik.com>> menulis:

>
>    Ukuran Blok File pada hdfs defaultnya 64MB. Namun bisa dirubah di

>    file configurasi apab...

Sebenarnya ukuran block size tergantung bagaimana membagi proses secara paralel, maksud saya disini adalah tergantung dari jumlah mapper dan reducer tiap datanode. Misalnya data anda 1 GB, dan anda setting block size 64MB, dan mapper tiap server adalah 2, maka anda membutuhkan kira-kira 8 datanode agar data tersebut benar2 diproses secara paralel tanpa ada yang queue (ngantri).
Kalau anda mensetting 128 MB Block size maka anda akan membutuhkan 4 server. Namun besar block size ini juga tergantung bandwidth network yang anda sediakan, semakin besar block size, semakin besar bandwidth yang anda gunakan untuk streaming data. Kemudian juga tergantung java heap size tiap datanode yang disediakan yang pasti berhubungan dengan memori.

Artinya, semakin anda dapat membagi secara tepat data anda untuk diproses, semakin cepat dan efisien hasil yang didapatkan.

>
> --
> Eko Kurniawan Khannedy
> Mahasiswa Universitas Komputer Indonesia
> +6285292775999
>

> ...