Re: [pentaho-id] Intisari untuk pentaho-id@googlegroups.com - 2 pembaruan pada 1 topik

[ginda...@gmail.com]

Proses ETL di buat bertahap aja mas.
/seratus aja dulu.
Nanti ke record berikutnya.
Nah. Kalau data sumber 1juta record sudah masuk semua.
Model ETl harus dibuat step max last update .
Yang artinya bila ETl running 1 jam sekali maka ETL akan memasukan data baru. Kalau data masih sama sistem akan berhenti. Dan tidak membaca record yg ada di db sumber semua.

Dikirim dari ASUS saya

-------- Pesan Awal --------
Dari:penta...@googlegroups.com
Terkirim:Mon, 05 Sep 2016 12:52:47 +0700
Kepada:Penerima intisari
Subjek:[pentaho-id] Intisari untuk penta...@googlegroups.com - 2 pembaruan pada 1 topik

penta...@googlegroups.com

Google Grup

Intisari topik
Lihat semua topik

• Running ETL pada PDI versi 5 dengan Big Data memakan waktu lama - 2 Pembaruan

Running ETL pada PDI versi 5 dengan Big Data memakan waktu lama

Nana Raju <nana.r...@gmail.com>: Sep 04 01:04PM +0700 Dear Teman" Group Pentaho Indonesia,   Saya memiliki masalah dalam mengolah data yang cukup besar. Logic yang di gunakan pada transformasi memang cukup kompleks OS yang digunakan Linux RHEL 6,5 DB yang di gunakan Informix dengan spec : OS : RHEL 6.5 CPU : 8 core MEM: 128 GB Pentaho yang digunakan versi 5 Data yang di olah 6 juta Record .   Terlampir KTR yang di running, Kami coba running tetapi memakan waktu 10 jam lebih dan masih belum selesai. Transformasi sudah menulis ke tabel output namun masih running dengan waktu yang selama itu menjadi tidak efektif. adakan saran dari rekan" yang mengatahui permasalahan ini ? Apakah hal ini di sebabkan oleh settingan pentaho/informix atau proses di ETLnya yang harus di sederhanakan? Mohon Bantuan dari rekan" .   Terimakasih need your advice.

Alpin Wahyudi <alpin....@fds.co.id>: Sep 04 06:41PM +0700 coba kitchen nya edit dengan kapasitas ram yg lebih besar   regards

Kembali ke atas

Anda menerima intisari ini karena telah berlangganan pembaruan untuk grup ini. Anda dapat mengubah setelan ini pada laman keanggotaan grup. Untuk berhenti berlangganan dari grup ini dan berhenti menerima email dari grup in, kirim email ke pentaho-id+...@googlegroups.com .