Bagaimana melakukan sinkronisasi 2 database MS.SQL Server & PostgreSQL

[Faim groeze]

 Salam kenal, saya baru belajar Pentaho..

saya berniat melakukan sinkronisasi 2 database MS.SQL Server & PostgreSQL dengan kettle,
dua database tersebut sudah saya hubungkan dengan ODBC ke transformation database connection.
lalu saya coba masukkan tabel input untuk yang MS SQL Server dan di output saya gunakan insert/update.
setelah saya jalankan, data dari MS.SQL Server benar tercopy dan bisa update ke Postgresql..
namun untuk delete data, tidak mau jalan...
saya juga pernah mencoba menambahkan output delete untuk postgre namun tidak berjalan dengan benar..

apa ada yang salah dalam pengaturan saya..
bagaimana seharusnya yang saya lakukan ?
mohon bimbingannya..?

terimakasih, dan mohon maaf klo saya salah dalam bertanya.

berikut tampilan sederhana tranformation yg saya buat.
 

[Feris Thia]

Hi Pak Faim,

Step Replikasi PostgreSQL - dengan tipe Insert/Update - yang digunakan pada transformation Anda tidak bisa untuk sinkronisasi delete. Kenapa?

Karena step tersebut hanya melakukan tugasnya berdasarkan data yang masih ada dan diterima dari step sql_server_table. Untuk data yang sudah hilang tentunya sudah tidak ada hasil dari query sql_server_table kan ya?

Nah, untuk melakukan sinkron penghapusan coba rancang transformation lain yang aliran datanya kira-kira seperti yang terlihat pada gambar berikut ini.

Transformation ini masih cukup bagus untuk data yang tidak terlalu besar. Namun jika data besar, performanya akan turun secara signifikan. Harus gunakan cara lain, biasanya tidak akan lari dari penggunaan database staging. 

Demikian Pak Faim, semoga bermanfaat...

Salam,

Feris

2014/1/5 Faim groeze <mas...@gmail.com>

apa ada yang salah dalam pengaturan saya..
bagaimana seharusnya yang saya lakukan ?
mohon bimbingannya..?

--
Thanks & Best Regards,

Feris Thia
Business Intelligence Consultant
PT. Putera Handal Indotama
Phone  : +6221-70387738
Mobile : +628176-474-525

             +62813-1433-9181
http://www.phi-integration.com

@PHI_Integration

[Faim groeze]

Terimakasih banyak pak Feris Thia,  akan  saya coba terapkan apa yang bapak sampaikan di atas.. nanti hasilnya saya laporkan kembali disini..
sekali lagi terimakasih atas jawabannya.

[Faim groeze]

Pak Feris Thia, mohon maaf saya kembali bertanya..

mengenai apa yang bapak sampaikan di atas.. saya masih belum bisa melakukan update delete datanya..

yang di lakukan pada filter lookup itu maksudnya bagaimana ya pak...?

insert / update data sudah berjalan dengan baik, namun setelah saya tambah step yang bapak terangkan di atas..

delete tetap tidak berjalan, mungkin saya salah dalam pemfilteran lookup nya.. atau ada hal lain yang membuat ini tidak bekerja ya pak?

saya coba masukkan data kemudian saya launch, pengcopy'an data berjalan baik..

namun ketika saya coba menghapus satu data dari sql server, kemudian saya launch lagi transformationnya, fungsi delete tidak mau menghilangkan data yang

sudah ada pada postgre seperti pada sql server..

 

[Feris Thia]

Pak Faim,

Buat transformation baru Pak. Bukan edit dari yang sudah ada. Coba perhatikan flow saya dari balasan email sebelumnya.

Jadi nantinya ada 2 file transformation. Satu untuk insert dan update dengan sumber data dari sql. Satu untuk delete dengan sumber data dari postgresql.

Untuk delete kenapa sumber data dari postgresql? Karena data sudah tidak ada di sql - dengan demikian data yg mau dihapus ga bisa diquery kan? Lakukan pencarian data dengan database lookup, jika data yang dicari tidak ada berarti data tersebut harus dihapus dari postgresql. Caranya bagaimana?

Dengan menggunakan filter. Apabila database lookup mengembalikan katakanlah namakaryawan.. maka field namakaryawan tersebut akan bernilai null. Dan kondisi tersebut yang kita masukkan di filter rows.

Saya belum bisa buat screenshot baru karena lagi ga online dgn laptop. Tapi dengan informasi saya mungkin bisa dicoba dulu Pak?

Salam,

Feris

--
--
Anda menerima pesan ini karena Anda telah terdaftar di Google
Groups "Pentaho User Group - Indonesia".
Untuk mengirim pesan ke grup ini, kirimkan email ke penta...@googlegroups.com
Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
pentaho-id+...@googlegroups.com
Untuk opsi lainnya, silahkan kunjungi http://groups.google.com/group/pentaho-id?hl=id.
Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi http://pentaho.phi-integration.com.
http://pentaho-en.phi-integration.com.
Milis terkait : http://groups.google.com/group/indo-bi
Link knowledge base lainnya : http://www.belajarsql.com.
 
---
Anda menerima pesan ini karena Anda berlangganan grup "Pentaho User Group Indonesia" dari Grup Google.
Untuk berhenti berlangganan dan berhenti menerima email dari grup ini, kirim email ke pentaho-id+berhenti berlan...@googlegroups.com .
Untuk opsi lainnya, kunjungi https://groups.google.com/groups/opt_out.

[Faim groeze]

oh begitu pak feris, saya paham pak.jadi buat 2 tranformation untuk masing-masing ya.

satu sebagai insert/update, satu lagi sebagai delete.
 
baik saya coba pak... mohon maaf merepotkan.. dan sekali lagi terimakasih banyak jawabannya pak..


iya pak nanti kedua transformation ini bisa di jalankan bersamaan dengan job kan pak,

karna maksud saya nanti akan saya buat jalan otomatis dengan task schedule.

[Feris Thia]

Pak Faim,

Ga repot Pak. Kebetulan sambil nunggu antrian.. hehe

Ok dicoba dulu Pak, kasih feedback saja jika sudah berhasil atau kalau ada kesulitan untuk selesaikan flow tersebut.

Salam,

Feris

--

[Faim groeze]

maaf pak ini muncul gini knp ya...

padahal sebelumnya koneksi ke postgrenya gpp...

[Feris Thia]

Pak Faim,

Coba koneksinya jangan menggunakan ODBC tapi JNDI.

Salam,

Feris

2014/1/5 Faim groeze <mas...@gmail.com>

maaf pak ini muncul gini knp ya...

padahal sebelumnya koneksi ke postgrenya gpp...

[Faim groeze]

Baik Pak Feris, saya coba dengan JNDI, Terimakasih Banyak Pak...

nanti saya laporan lagi hasilnya..

[Faim groeze]

Pak Feris, Terimakasih Banyak sebelumnya atas apa yang sudah di sampaikan tadi sangat membantu saya.

semua berjalan dengan baik Pak, Insert/Update & Delete sudah bisa jalan dengan benar.

ini insert/update nya:

ini delete nya :

nah sekarang saya mencoba menggabung 2 pekerjaan tersebut agar bisa berjalan dengan sekali launch...

lalu saya coba membuat ini :

Setelah saya test!
seperti yang terlihat tidak berjalan dengan semestinya prosesnya semua menghasilkan "0" atau tidak terjadi apa-apa...

apa ada yang salah dengan apa yang saya buat di atas ya Pak?

[Feris Thia]

Pak Faim,

Gunakan job untuk mengeksekusi kedua transformation tersebut.

Buat satu job... bukan transformation. Masukkan step start. Kemudian masukkan step tansformation, dan browse ke file transformation yg melakukan insert / update. Hubungkan start dengan step ini.

Lakukan hal yg sama dengan transformation delete. Hubungkan jangan dengan start tapi dengan step transformation insert / update.

Simpan dan jalankan job tersebut.

Semoga membantu...

Salam,

Feris

[Faim groeze]

Baik Terimakasih Pak Feris, Jam Segini masih di sempatkan menjawab Pertanyaan saya.. Terimakasih Sekali Pak. hehe

[Faim groeze]

Pak Feris Berhasil Jalan Jobnya, Saya Ucapkan Terimakaih Banyak atas apa yang sudah Pak Feris Ajarkan Seharian ini..

akhirnya Selesai apa yang saya kerjakan, dan 

Semoga Tuhan Membalas dengan Kebaikan yang berlipat untuk Pak Feris. atas kebaikan membagi ilmunya pada saya.

Semua sangat bermanfaat bagi pekerjaan saya, dan semoga bermanfaat juga untuk pembaca lainnya.

Jujur saja, saya baru mengenal Pentaho tiga hari yang lalu dan saya rasa Pentaho sangat Friendly bagi Newbie seperti Saya. karena kemudahan2 GUI nya.

Rasa Penasaran saya semakin bertambah sejak memakai Pentaho, Saya jadi semakin bersemangat memperdalam Database Pak.

ditambah adanya Pak Feris yang mau berbagi Ilmunya dengan baik hati, Terimakasih Pak.

[Feris Thia]

Pak Faim,

Sama2 Pak. Aminn.... terima kasih juga atas doanya yang sangat baik :)

Sukses terus ya dalam proses pembelajarannya!

Salam,

Feris

2014/1/6 Faim groeze <mas...@gmail.com>

--

--
Anda menerima pesan ini karena Anda telah terdaftar di Google
Groups "Pentaho User Group - Indonesia".
Untuk mengirim pesan ke grup ini, kirimkan email ke penta...@googlegroups.com
Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
pentaho-id+...@googlegroups.com
Untuk opsi lainnya, silahkan kunjungi http://groups.google.com/group/pentaho-id?hl=id.
Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi http://pentaho.phi-integration.com.
http://pentaho-en.phi-integration.com.
Milis terkait : http://groups.google.com/group/indo-bi
Link knowledge base lainnya : http://www.belajarsql.com.
 
---
Anda menerima pesan ini karena Anda berlangganan grup "Pentaho User Group Indonesia" dari Grup Google.
Untuk berhenti berlangganan dan berhenti menerima email dari grup ini, kirim email ke pentaho-id+berhenti berlan...@googlegroups.com .
Untuk opsi lainnya, kunjungi https://groups.google.com/groups/opt_out.