CDC untuk MySQL

[W]

Halo,

Spoon sudah support CDC untuk mysql tidak ya ?

Saya quick search, talend sudah support.

Kalau spoon, saya lihat di thread ini masih mengambang :

http://www.mail-archive.com/jug-in...@yahoogroups.com/msg11423.html

Salam,
Wildan

---
---
OpenThink Labs
http://wildanm.wordpress.com

Making IT, Business and Education in Harmony

>> 087884599249

Y! : hawking_123
Linkedln : http://www.linkedin.com/in/wildanmaulana

[Andreas]

Wah kayaknya itu topik yang pernah saya angkat dulu yah.
Hmm.. CMIIW Setahu saya dulu CDC tidak di-support oleh Spoon.
Kalau sekarang sudah support, jangan lupa buat artikelnya yah, saya
juga mau pake soalnya. :p

Kalau kendalanya karena masalah koneksi yang tidak stabil, jalan
keluarnya menggunakan
looping untuk error handling, mungkin bisa main2 ke thread ini
http://groups.google.com/group/pentaho-id/browse_thread/thread/470984bb4db7e977#

Regards,
Andreas

On Nov 19, 2:03 pm, W <wilda...@gmail.com> wrote:
> Halo,
>
> Spoon sudah support CDC untuk mysql tidak ya ?
>
> Saya quick search, talend sudah support.
>
> Kalau spoon, saya lihat di thread ini masih mengambang :
>

> http://www.mail-archive.com/jug-indone...@yahoogroups.com/msg11423.html
>
> Salam,
> Wildan
>
> ---
> ---
> OpenThink Labshttp://wildanm.wordpress.com

[Feris Thia]

Hi Pak Wildan,

Untuk deteksi CDC (Change Data Capture) bukan bagian dari ETL manapun, tapi ETL bisa melakukan query CDC apabila databasenya mendukung dan Kettle bisa menyimpan bookmark ID penarikan terakhir.

Setahu saya MySQL belum mendukung. Contoh yang sudah mendukung adalah MS SQL Server 2008 (versi 2000 / 2005 tidak mendukung CDC).

Regards,

Feris

2009/11/19 W <wild...@gmail.com>

Halo,

Spoon sudah support CDC untuk mysql tidak ya ?

--
Thanks & Best Regards,

Feris Thia
Business Intelligence Consultant
PT. Putera Handal Indotama
Phone  : +6221-30119353
Fax      : +6221-5513483
Mobile : +628176-474-525
http://www.phi-integration.com
http://pentaho.phi-integration.com

[Muhammad Edwin]

hi,
bisa tolong berikan pencerahan,
sebenarnya yang dimaksud dengan CDC ini apa yah?
apakah hanya mencatat perubahan-perubahan dan history dari record?

terima kasih.

2009/11/23 Feris Thia <fe...@phi-integration.com>:

[Feris Thia]

Hi Pak Muhammad,

Akan coba saya paparkan. Tapi sebelumnya, memang persepsi CDC ini kelihatannya ga perlu.. hampir di semua presentasi saya ada pernyataan, ini kan  "hanya mencatat perubahan" yang kelihatan sepele :p hehehe

CDC (Change Data Capture) adalah prosese pengambilan semua perubahan dari sumber data, yang tentunya ada 3 :

1. Insert

2. Update

3. Delete

Untuk proses Insert dan Update bisa dipecahkan apabila terdapat 2 field tambahan yang umumnya ada di ERP terkenal => Created Date dan Last Updated Date.

Untuk delete gimana caranya ? Kalau kita catat updated date harus di data mana ? Nah... ini masalahnya.

Oke... kita lanjut dengan trigger, buat satu tabel audit / mirror dan aktifkan trigger untuk tabel tersebut. Kelihatan sepele ... iya, tapi tunggu dulu. Kita harus berhadapan dengan kompleksitas yang mengelilingi trigger, seperti nested trigger, overlapping dengan existing trigger, dll. Kalau copy paste jangan sampai salah insert ke table lain. 

Trik lain adalah membaca transaction log. Tapi kelemahannya adalah format transaction log sering proprietary dan sangat susah dibaca. Tapi ini adalah langkah yang paling disarankan.

Nah, dari paparan itulah maka kalau ETL (baik itu Kettle, Informatica, IBM Data Stage, SAS, GreenPlum, dll) direview untuk dijadikan alat solusi CDC. Percayalah kalau itu solusi yang sangat-sangat overkill / overhead.

Buat yang pernah training ETL di PHI-Integration sudah saya demokan CDC di SQL Server 2008, tapi untuk yang belum bisa coba kunjungi :

http://weblogs.sqlteam.com/derekc/archive/2008/01/28/60469.aspx

Cukup lengkap cara konfigurasinya disana. 

Untuk CDC tulisan saya yang lebih lengkap ada di :

http://blog.phi-integration.com/2008/08/change-data-capture-cdc.html

Semoga membantu.

Regards,

Feris

2009/11/23 Muhammad Edwin <edwi...@gmail.com>

hi,
bisa tolong berikan pencerahan,
sebenarnya yang dimaksud dengan CDC ini apa yah?
apakah hanya mencatat perubahan-perubahan dan history dari record?

terima kasih.

--
Thanks & Best Regards,

Feris Thia

[W]

Terimakasih Pak Feris atas penjelasannya...

Btw, fitur CDC di talend hanya tersedia untuk versi berbayar nya ...
:( (talend integration suite).

CDC di mysql 5 bisa, dengan memanfaatkan trigger.

CMIIW

Salam,
Wildan

---
---
OpenThink Labs Indonesia

http://wildanm.wordpress.com

Making IT, Business and Education in Harmony

Learning and Breathing go together

>> 087884599249

Y! : hawking_123
Linkedln : http://www.linkedin.com/in/wildanmaulana

2009/11/23 Feris Thia <fe...@phi-integration.com>:

[Feris Thia]

Hi Pak Wildan,

Wah, Talend bisa itu tanpa bantuan database. Keren.... hehehe. Tapi, coba saja Pak trial enterprisenya, saya kok ga yakin ya dengan pengalaman saya :)

Untuk MySQL (dan database relasional lainnya yang mendukung trigger) tentu saja bisa, tapi seperti yang saya jelaskan... akan berhadapan dengan kompleksitas trigger. Untuk tabel dan jumlah data kecil sepertinya oke. Namun ketika pada saatnya berhadapan dengan data masif dan tabel yang kompleks banget (apalagi ada virtual table seperti di sistem BAAN), solusi trigger akan sangat memakan waktu dan resource lainnya.

Demikian, semoga membantu.

Regards,

Feris

2009/11/23 W <wild...@gmail.com>

Terimakasih Pak Feris atas penjelasannya...

Btw, fitur CDC di talend hanya tersedia untuk versi berbayar nya ...
:(  (talend integration suite).

CDC di mysql 5 bisa, dengan memanfaatkan trigger.

CMIIW

Salam,
Wildan

[W]

Kalau dbmoto bagaimana ?

http://www.hitsw.com/products_services/dbmoto/dbmoto.html

ada yang tau ?

Salam,
Wildan

---
---
OpenThink Labs Indonesia
http://wildanm.wordpress.com

Making IT, Business and Education in Harmony

Learning and Breathing go together
>> 087884599249

Y! : hawking_123
Linkedln : http://www.linkedin.com/in/wildanmaulana



2009/11/23 Feris Thia <fe...@phi-integration.com>:

[Feris Thia]

Hi Pak Wildan,

Ya... kalau dbmoto membaca transaction log saya masih percaya. Seperti yang ditulis artikel saya, biasanya kita menggunakan third party seperti dbmoto ini. Tapi yang saya singgung adalah Golden Gate (http://www.goldengate.com/). Pada saat penulisan artikel saya Golden Gate belum diambil Oracle :p

Cara kerjanya bisa dilihat di gambar skemanya :

http://www.goldengate.com/solutions/rtdataware.html

Pak Wildan, kalau mau research dan hasilkan produk third party CDC ini karena akan banyak sekali yang memerlukan. Terutama versi2 database yang sudah ada transaction lognya tapi tidak ada fitur CDC.

Regards,

Feris

2009/11/23 W <wild...@gmail.com>

Kalau dbmoto bagaimana ?

http://www.hitsw.com/products_services/dbmoto/dbmoto.html

ada yang tau ?

Salam,
Wildan

[housny mubarokh]

Bagaimana klo pak Feris bikin kettle job/transformation mengolah file teks hasil output mysqlbinlog jadi CDC solution untuk MySQL?
Pasti sangat bermanfaat...hehe :D

just kidding.

[Feris Thia]

Hi Pak Housny,

Wak.... terlalu banyak workaround :p hehehe

Gimana kabarnya Pak ? Btw.. sudah diinvite ya Pak ;)

Regards,

Feris

2009/11/23 housny mubarokh <hous...@sbm.itb.ac.id>

Bagaimana klo pak Feris bikin kettle job/transformation mengolah file teks hasil output mysqlbinlog jadi CDC solution untuk MySQL?
Pasti sangat bermanfaat...hehe :D

just kidding.

[bambang sutanto]

Dear all,

Mohon bantuannya untuk masalah kettle. Saya sebelumnya membuat transformation menggunakan kettle versi 3. Kemudian karena di versi ini ada masalah dengan step calculator-nya maka kemudian saya pakai kettle 3.2. Semuanya berjalan baik. Tetapi masalah muncul ketika saya hendak meng-edit database connection. Selalu muncul Error working with XUL definition. "org.pentaho.ui.xul.XulException: java.lang.reflect.InvocationTargetException" Kira-kira masalahnya dimana ya? Mungkin ada rekan2 yang dapat membantu. Terima kasih.

 

Regards

Bambang

[Admin IyaLa]

Hai Pak Bambang,

Ketika pindah dr versi 3 ke 3.2 itu table input ktr nya di copy paste atau bikin new connection di kettle versi 3.2 nya? takut nya kl langsung di copy paste ada yg ga cocok mungkin dgn versi lama nya.

Selama ini saya pakai table input tidak ada masalah.

Biar lebih yakin, timpa aja installan kettle dgn yg baru. kl masih error juga, berarti bukan dr kettle nya, itu mgkn dr settingan Pak Bambang

Br,
Biya

2009/11/24 bambang sutanto <bambang...@andini.co.id>

[bambang sutanto]

Hi pak Admin Iyala,

Benar seperti kata bapak. Dulu saya install kettle 3.2 -nya langsung saya timpa di versi 3.0-nya. Saya sudah coba install di folder baru sudah ga ada masalah. Thanks pak.

 

regards

Bambang