Run proses ETL secara berkala

[bagus kurniawan]

Bagaimana cara run proses etl pada kattle (.ktr) secara berkala
misalnya prosesnya berjalan secara 5 menit sekali?
sehingga data pada database warehousenya berubah setiap 5 menit
sekali.
Misalnya file .ktr sudah di export menjadi file .bat. Sehingga kita
tidak perlu mengclick file . bat nya.

[Feris Thia]

Pak Bagus,

2012/2/15 bagus kurniawan <bagusv...@gmail.com>

Untuk ini buat file batch yang memiliki baris perintah utilitas pan (bagian dari Kettle) :

http://pentaho.phi-integration.com/kettle/pan 

Dan kemudian batch file tersebut di-schedule saja Pak dengan interval 5 menit...

Semoga membantu...

--
Thanks & Best Regards,

Feris Thia
Business Intelligence Consultant
PT. Putera Handal Indotama
Phone  : +6221-30119353
Fax      : +6221-5513483
Mobile : +628176-474-525
http://www.phi-integration.com
http://pentaho.phi-integration.com
http://sqlserver-tips.phi-integration.com

[Andreas]

Tambahan.

Kalau memakai OS Windows, coba pelajarin "Task Scheduler".
Tapi jika menggunakan OS *NIX coba pelajarin "Cron Job / Cron Tab",
saya lupa istilahnya.

Regards,
Andreas

On Feb 15, 8:25 am, Feris Thia <fe...@phi-integration.com> wrote:
> Pak Bagus,
>

> 2012/2/15 bagus kurniawan <bagusvixi...@gmail.com>

[sugian...@gmail.com]

Halo mas bagus, salam kenal... Kalo os anda windows, anda bisa gunakan task scheduler utk menjalankan hal tersebut. Task scheduler bisa di cari pada menu accessories/control panel windows. Trims
Sent from my BlackBerry® via Smart 1x / EVDO Network. Smart.Hebat.Hemat.

--
Anda menerima pesan ini karena Anda telah terdaftar di Google
Groups "Pentaho User Group - Indonesia".
Untuk mengirim pesan ke grup ini, kirimkan email ke penta...@googlegroups.com
Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
pentaho-id+...@googlegroups.com
Untuk opsi lainnya, silahkan kunjungi http://groups.google.com/group/pentaho-id?hl=id.
Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi http://pentaho.phi-integration.com.
Milis terkait : http://groups.google.com/group/indo-bi
Link knowledge base lainnya : http://www.belajarsql.com.

[bagus kurniawan]

Terima Kasih Sis Feris dan Bro Andreas. Sudah saya coba dan berhasil.
Terima Kasih.

> > Mobile : +628176-474-525http://www.phi-integration.comhttp://pentaho.phi-integration.comhttp:...

[bagus kurniawan]

iya mas sudah saya coba. terima kasih infonya...

On Feb 15, 8:30 am, sugianto.e...@gmail.com wrote:
> Halo mas bagus, salam kenal... Kalo os anda windows, anda bisa gunakan task scheduler utk menjalankan hal tersebut. Task scheduler bisa di cari pada menu accessories/control panel  windows. Trims
> Sent from my BlackBerry® via Smart 1x / EVDO Network. Smart.Hebat.Hemat.
>
>
>
>
>
>
>
> -----Original Message-----
> From: bagus kurniawan <bagusvixi...@gmail.com>
>
> Sender: penta...@googlegroups.com
> Date: Tue, 14 Feb 2012 17:20:16
> To: Pentaho User Group Indonesia<penta...@googlegroups.com>
> Reply-To: penta...@googlegroups.com
> Subject: [pentaho-id] Run proses ETL secara berkala
>
> Bagaimana cara run proses etl pada kattle (.ktr) secara berkala
> misalnya prosesnya berjalan secara 5 menit sekali?
> sehingga data pada database warehousenya berubah setiap 5 menit
> sekali.
> Misalnya file .ktr sudah di export menjadi file .bat. Sehingga kita
> tidak perlu mengclick file . bat nya.
>
> --
> Anda menerima pesan ini karena Anda telah terdaftar di Google
> Groups "Pentaho User Group - Indonesia".
> Untuk mengirim pesan ke grup ini, kirimkan email ke penta...@googlegroups.com
> Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
> pentaho-id+...@googlegroups.com

> Untuk opsi lainnya, silahkan kunjungihttp://groups.google.com/group/pentaho-id?hl=id.
> Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungihttp://pentaho.phi-integration.com.

[Feris Thia]

Kayanya saya memang mesti ganti nama neh.... :p

2012/2/15 bagus kurniawan <bagusv...@gmail.com>

Terima Kasih Sis Feris dan Bro Andreas. Sudah saya coba dan berhasil.
Terima Kasih.

--
Thanks & Best Regards,

Feris Thia
Business Intelligence Consultant
PT. Putera Handal Indotama
Phone  : +6221-30119353
Fax      : +6221-5513483

[Andreas]

Sis Feris.
Haha..

Nanti langsung di banned lho ke-anggotaan nya. :p

Regards,
Andreas

[sugian...@gmail.com]

Hahaha...om feris, ganti nama aja jadi fery.... :D

Sent from my BlackBerry® via Smart 1x / EVDO Network. Smart.Hebat.Hemat.

---

From: Feris Thia <fe...@phi-integration.com>

Sender: penta...@googlegroups.com

Date: Wed, 15 Feb 2012 08:52:23 +0700

To: <penta...@googlegroups.com>

ReplyTo: penta...@googlegroups.com

Subject: Re: [pentaho-id] Re: Run proses ETL secara berkala

--
Anda menerima pesan ini karena Anda telah terdaftar di Google
Groups "Pentaho User Group - Indonesia".
Untuk mengirim pesan ke grup ini, kirimkan email ke penta...@googlegroups.com
Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
pentaho-id+...@googlegroups.com

Untuk opsi lainnya, silahkan kunjungi http://groups.google.com/group/pentaho-id?hl=id.
Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi http://pentaho.phi-integration.com.

[Feris Thia]

Iya ya...

Harusnya ada aturan setidaknya minimal cek archive milis dulu.... :p hehehe

2012/2/15 Andreas <andrea...@gmail.com>

Sis Feris.
Haha..

Nanti langsung di banned lho ke-anggotaan nya. :p

--
Thanks & Best Regards,

Feris Thia
Business Intelligence Consultant
PT. Putera Handal Indotama
Phone  : +6221-30119353
Fax      : +6221-5513483

[Feris Thia]

2012/2/15 <sugian...@gmail.com>

Hahaha...om feris, ganti nama aja jadi fery.... :D

Boleh Pak... atau jadi Feri. S. saja ya ? :p

[bagus kurniawan]

hahaha...
namanya soale cewek..
biarpun cewek atau cowok g masalah lah.
yang penting infonya membantu..
:D

[Faqih Zulfikar]

kocak, hehehe :D

--
Anda menerima pesan ini karena Anda telah terdaftar di Google
Groups "Pentaho User Group - Indonesia".
Untuk mengirim pesan ke grup ini, kirimkan email ke penta...@googlegroups.com
Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
pentaho-id+...@googlegroups.com
Untuk opsi lainnya, silahkan kunjungi http://groups.google.com/group/pentaho-id?hl=id.
Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi http://pentaho.phi-integration.com.
Milis terkait : http://groups.google.com/group/indo-bi
Link knowledge base lainnya : http://www.belajarsql.com.

--
Best Regards,
Faqih Zulfikar



*"Keadilan Tuhan adalah memberikan dua jalan; Surga atau Neraka; untuk
dipilih manusia"*

[anastasia octaviana khrisna dewi]

Syalom,
 maaf saya pendatang baru Pentaho hehe. Saya masih bingung istilah-istilah mengenai Pentaho.
Tadi Pak Bagus menyebutkan

"Misalnya file .ktr sudah di export menjadi file .bat. Sehingga kita
tidak perlu mengclick file . bat nya "

dan pak Feris menyebutkan

"
Untuk ini buat file batch yang memiliki baris perintah utilitas pan (bagian dari Kettle) :

http://pentaho.phi-integration.com/kettle/pan 

Dan kemudian batch file tersebut di-schedule saja Pak dengan interval 5 menit..."

Pertanyaan saya, sebenarnya apa bedanya file.ktr dengan file. bat ?
Saya ambigu dengan kedua pernyataan di atas. Dari pernyataan Pak Bagus di atas, saya menangkap bahwa file. bat tidak berjalan secara otomatis, lalu mengapa file. ktr tersebut harus diubah ke file .bat? padahal Pak Bagus menginginkan run otomatis dari Kettle?
Dan dari pernyataan Pak Feris, saya menangkap untuk run otomatis kettle , file harus diubah ke bentuk batch?
Mohon penjelasan dari rekan-rekan sekalian. :D
Terima kasih

[Bambang sistriadianto]

Dear Ibu Anastasia,

Coba bantu jawab, file ktr adalah file dengan extention ".ktr" yang merupakan file bentukan pentaho yang berisi algoritma2 yang kita susun berdasarkan object2 pentaho yang ada di PDI / Kettle. pada dasarnya ini adalah file xml. file inilah yang akandi execute oleh pentaho engine, untuk execute file ini bisa langsung dari UI nya kettle, atau bisa dari batch file ( window ) atau crontab ( linux )

bacth file adalah  sebuah file dengan extension BAT yang berisi perintah - perintah yang disusun agar membentuk suatu tugas tertentu.

untuk menghindari kita mengeksekusi file ktr via UI PDI kita bisa memanfaatkan utilitas pan bawaan pentaho 

sample :

file ktr kita disimpan di  D:\work\Pentaho\Sample.ktr

mengacu kepada http://pentaho.phi-integration.com/kettle/pan

maka di dalam file dengan extension bat yang akan kita buat  kita tulis script seperti berikut ( step2nya )

1. buka file new di notepad ato text editor lainnya

2. asumsi path file pan ( biasanya sama dengan path : spoon.bat ) ada di C:\Pentaho\PDI dan path file ktr kita ada di 

    D:\work\Pentaho\Sample.ktr

    maka tulis script seperti ini :

    

    cd C:\Pentaho\PDI

    pan -file=" D:\work\Pentaho\Sample.ktr " -level =detailed

3. Note option "-level = detailed" artinya log akan di tulis detailed , ada beberapa opsi tapi saya lupa..:)

4. save as file dengan extension ".bat"

5. selesai.

untuk menjalankannya double klik aja file bat yang baru kita buat tersebut.

Untuk schedulnya bisa memanfaatkan task scheduler di windows..pathnya : program --> Accesories --> System Tools --> Task Scheduler

bikin schedule baru dan arahkan file yang dipanggil ke file bat yg kita bikin tadi ..setting scedule runningnya , lengkapnya bisa googling untuk task schedullar..:).

demikian dari saya ..kalo ada yang salah or kurang mohon rekan2 yang lin untuk dikoreksi ..

Wassalam.

    

--

Anda menerima pesan ini karena Anda telah terdaftar di Google
Groups "Pentaho User Group - Indonesia".
Untuk mengirim pesan ke grup ini, kirimkan email ke penta...@googlegroups.com
Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
pentaho-id+...@googlegroups.com
Untuk opsi lainnya, silahkan kunjungi http://groups.google.com/group/pentaho-id?hl=id.
Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi http://pentaho.phi-integration.com.
Milis terkait : http://groups.google.com/group/indo-bi
Link knowledge base lainnya : http://www.belajarsql.com.

--

Best regards,

Bambang Sistriadianto

++++++++++++++++++++++++++++++

phone : +6281584620607

[bagus kurniawan]

saya coba bantu ya anastasia..
jadi gini kenapa file .ktr saya rubah ke format .bat ?
dengan cara itu kita tidak perlu buka aplikasi kattle(spoon), jadi
cukup file .ktr tersebut di build menjadi file dengan format
berekstensi .bat
sehingga kalo yang mengoperasikan itu manager dan dia agak gaptek ttng
komputer, maka dia cukup mengclick file .bat tersebut tanpa harus
membuka aplikasi kattle nya.
selanjutnya kenapa saya atur interval waktunya 5 menit?
apabila file .bat sudah dibuat maka file .bat tersebut akan running
setiap 5 mnt sekali. tujuan saya disini supaya transformasi etl yang
sudah saya buat sebelumnya akan berjalan dengan sendirinya. dan
efeknya, data yang ada pada database warehouse sudah terupdate setiap
5 menit sekali.

semoga bisa membantu penjelasan dari saya.

[anastasia octaviana khrisna dewi]

Terima kasih Pak Bambang dan Pak Bagus atas penjelasannya.

[jeff hadianto]

salam
pak bagus dan pak bambang dan semua master
saya baru belajar schedule, bagaimana ya kaitan schedule yg dibuat untuk job dan transformation? kalau dari kasus pak bagus , apa ndak sekalian diatur aja schedule jobnya mohon petunjuk..
 

[Andreas Tjong]

Hi Jeff,

Saya coba jelaskan secara singkat.

Hasil design di Kettle:

a. Transformation --> .ktr

b. Job --> .kjb

Jika ingin menjalankan file di atas via command line:

a. Pan --> menjalankan file .ktr

b. Kitchen --> menjalankan file .kjb

Pan & Kitchen, sudah ada di folder instalasi pentaho dalam format .bat / .sh, tinggal disesuaikan saja dengan OS masing-masing.

Cara membuat schedule:

1. Create satu file .bat / .sh (sebut saja testscheduler.bat) yang isinya menjalankan Pan / Kitchen sesuai dengan kebutuhan.

2. Daftarkan file testscheduler.bat ini ke dalam Task Scheduler masing2 OS.

Regards,
Andreas

--

--
Anda menerima pesan ini karena Anda telah terdaftar di Google
Groups "Pentaho User Group - Indonesia".
Untuk mengirim pesan ke grup ini, kirimkan email ke penta...@googlegroups.com
Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
pentaho-id+...@googlegroups.com
Untuk opsi lainnya, silahkan kunjungi http://groups.google.com/group/pentaho-id?hl=id.
Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi http://pentaho.phi-integration.com.

http://pentaho-en.phi-integration.com.

Milis terkait : http://groups.google.com/group/indo-bi
Link knowledge base lainnya : http://www.belajarsql.com.

---
Anda menerima pesan ini karena berlangganan grup "Pentaho User Group Indonesia" di Google Grup.
Untuk berhenti berlangganan dan berhenti menerima email dari grup ini, kirim email ke pentaho-id+...@googlegroups.com.
Untuk opsi lebih lanjut, kunjungi https://groups.google.com/d/optout.

--
Best regards,
Andreas