Mengambil Data KPU, Demo Pentaho Data Integration

Feris Thia

unread,

Aug 3, 2014, 11:31:40 PM8/3/14

to User Group Pentaho Indonesia

Rekan-rekan PUG Ysh,

Terinspirasi dari keterbukaan data KPU untuk dibaca publik, dan juga adanya website-website crowdsourcing seperti kawalpemilu.org dan kawal-suara.appspot.com, PHI-Integration
mencoba memberikan demo berupa video dari prinsip pembacaan data yang hampir sama dengan
menggunakan aplikasi Pentaho Data Integration dan satu script PHP sederhana, dan kemudian menyimpannya di database lokal.

Berikut adalah video yang sudah diupload ke Youtube:

http://www.youtube.com/watch?v=2QY1iKr7IqE

Cara kerja pengambilan data pada video ini adalah sebagai berikut:
1. Dipersiapkan satu script PHP yang akan membaca halaman web KPU berdasarkan parameter yang diterimanya. Hasilnya akan disimpan sebagai halaman HTML pada folder sementara (staging).
2. Script pertama pada Pentaho Data Integration akan membaca seluruh kode data propinsi dari tabel MySQL, dan kemudian dikirimkan sebagai parameter ke script PHP di atas. Hasil dari proses ini akan menghasilkan 33 file HTML staging.
3. File-file HTML ini kemudian akan diparsing oleh script kedua dari Pentaho Data Integration dan hasilnya akan dikirimkan ke dua output, yaitu table database SQL Server 2008 dan file Excel.
4. Setelah hasil didapatkan, verifikasi data akan dilakukan ke website KPU.
5. Selesai.

Semoga bermanfaat.

Salam,

Feris

Faqih Zulfikar

unread,

Aug 4, 2014, 3:17:57 AM8/4/14

to penta...@googlegroups.com

Mantap Pak Feris.. :)

--
--
Anda menerima pesan ini karena Anda telah terdaftar di Google
Groups "Pentaho User Group - Indonesia".
Untuk mengirim pesan ke grup ini, kirimkan email ke penta...@googlegroups.com
Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
pentaho-id+...@googlegroups.com
Untuk opsi lainnya, silahkan kunjungi http://groups.google.com/group/pentaho-id?hl=id.
Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi http://pentaho.phi-integration.com.
http://pentaho-en.phi-integration.com.
Milis terkait : http://groups.google.com/group/indo-bi
Link knowledge base lainnya : http://www.belajarsql.com.

---
Anda menerima pesan ini karena berlangganan grup "Pentaho User Group Indonesia" di Google Grup.
Untuk berhenti berlangganan dan berhenti menerima email dari grup ini, kirim email ke pentaho-id+...@googlegroups.com.
Untuk opsi lebih lanjut, kunjungi https://groups.google.com/d/optout.