Running ETL pada PDI versi 5 dengan Big Data memakan waktu lama

[Nana Raju]

Dear Teman" Group Pentaho Indonesia,

Saya memiliki masalah dalam mengolah data yang cukup besar.

Logic yang di gunakan pada transformasi memang cukup kompleks

OS yang digunakan Linux RHEL 6,5

DB yang di gunakan Informix dengan spec :

      OS : RHEL 6.5

      CPU : 8 core

      MEM: 128 GB

Pentaho yang digunakan versi 5

Data yang di olah 6 juta Record .

Terlampir KTR yang di running,

Kami coba running tetapi memakan waktu 10 jam lebih dan masih belum selesai.
Transformasi sudah menulis ke tabel output namun masih running dengan waktu yang selama itu menjadi tidak efektif. adakan saran dari rekan" yang  mengatahui permasalahan ini ? Apakah hal ini di sebabkan oleh settingan pentaho/informix atau proses di ETLnya yang harus di sederhanakan?

Mohon Bantuan dari rekan" .

Terimakasih

need your advice. 

[Alpin Wahyudi]

coba kitchen nya edit dengan kapasitas ram yg lebih besar

regards

--
--
Anda menerima pesan ini karena Anda telah terdaftar di Google
Groups "Pentaho User Group - Indonesia".
Untuk mengirim pesan ke grup ini, kirimkan email ke penta...@googlegroups.com
Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
pentaho-id+unsubscribe@googlegroups.com
Untuk opsi lainnya, silahkan kunjungi http://groups.google.com/group/pentaho-id?hl=id.
Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi http://pentaho.phi-integration.com.
http://pentaho-en.phi-integration.com.
Milis terkait : http://groups.google.com/group/indo-bi
Link knowledge base lainnya : http://www.belajarsql.com.

---
Anda menerima pesan ini karena berlangganan grup "Pentaho User Group Indonesia" di Google Grup.
Untuk berhenti berlangganan dan berhenti menerima email dari grup ini, kirim email ke pentaho-id+unsubscribe@googlegroups.com.
Untuk opsi lebih lanjut, kunjungi https://groups.google.com/d/optout.