get file with ftp on kettle transformation not kettle job

118 views
Skip to first unread message

Siti Mawaddah

unread,
Dec 14, 2010, 5:06:34 AM12/14/10
to penta...@googlegroups.com
Dear pak feris and all...

Adakah step di kettle transformation untuk download file dari ftp 
sebegaimana step Utility > Process files...
sedangkan utk akses ftp tersebut butuh specify username dan password...
itu di bagian mananya ya?
saya baru menemukan di ketlle job, yaitu step "get a file with ftp"

saya tidak bisa menggunakan job tsb, karena ada pra process utk menentukan file mana yang harus saya download...
dan post process untuk menyimpan informasi file ke tabel database

mohon bantuannya terima kasih banyak...


--
"The greatest danger for most of us is not that our aim is too high, and we miss it.
But that our aim is too low, and we reach it"
— Nitsbaba (My friend)

http://sitimawaddah.blogspot.com/
http://mawaddah1985.multiply.com/

fe...@xl.blackberry.com

unread,
Dec 14, 2010, 5:22:34 AM12/14/10
to penta...@googlegroups.com
Dear Bu Tya,

Pertama lakukan preprocessnya dulu, jika sudah hasilkan mana file yang akan didownload, konstruksi dengan regex.

Contoh:

(File1.txt|File2.txt|File3.txt)

Kirimkan pattern ke get file from ftp. Dan Bu Tya akan mendapatkan file2 yang terdaftar di pattern saja.

Semoga membantu...

Regards,

Feris

Sent from my BlackBerry® smartphone from Sinyal Bagus XL, Nyambung Teruuusss...!

From: Siti Mawaddah <siti.m...@gmail.com>
Date: Tue, 14 Dec 2010 17:06:34 +0700
Subject: [pentaho-id] get file with ftp on kettle transformation not kettle job
--
Anda menerima pesan ini karena Anda telah terdaftar di Google
Groups "Pentaho User Group - Indonesia".
Untuk mengirim pesan ke grup ini, kirimkan email ke penta...@googlegroups.com
Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
pentaho-id+...@googlegroups.com
Untuk opsi lainnya, silahkan kunjungi http://groups.google.com/group/pentaho-id?hl=id.
Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi http://pentaho.phi-integration.com.
Milis terkait : http://groups.google.com/group/indo-bi

Siti Mawaddah

unread,
Dec 14, 2010, 5:54:01 AM12/14/10
to penta...@googlegroups.com
maaf pak feris, 
cara "Kirimkan pattern ke get file from ftp" itu bagaimana ya?
di step "get file with ftp" tab Files kan ada wildcard (regular expression). di situ kah?
itu bukannya memasukkan manual...
bagaimana caranya biar isi dari wildcard itu adalah salah satu field suatu tabel/file txt?

terima kasih lagi nih pak :)

2010/12/14 <fe...@xl.blackberry.com>

fe...@xl.blackberry.com

unread,
Dec 14, 2010, 6:01:36 AM12/14/10
to penta...@googlegroups.com
Dear Bu Tya,

Benar, tempatnya disana. Gunakan variable yang telah kita konstruksi dari transformation lain.

Demikian Bu, mohon maaf tidak sempat kasih contoh.

Semoga membantu ya Bu.


Regards,

Feris

Sent from my BlackBerry® smartphone from Sinyal Bagus XL, Nyambung Teruuusss...!

From: Siti Mawaddah <siti.m...@gmail.com>
Date: Tue, 14 Dec 2010 17:54:01 +0700
Subject: Re: [pentaho-id] get file with ftp on kettle transformation not kettle job

Siti Mawaddah

unread,
Dec 14, 2010, 10:51:28 PM12/14/10
to penta...@googlegroups.com
Ohh jadi bs langsung masukkan nama field dr transformas sblmnya y?
Misalkan nm fieldnya NAMA_FILE maka d wildcard tinggal tulis
itukah?apakah ada pnambahan symbol/syntax?
Terimakasih lg :)

On 14/12/2010, fe...@xl.blackberry.com <fe...@xl.blackberry.com> wrote:
> Dear Bu Tya,
>
> Benar, tempatnya disana. Gunakan variable yang telah kita konstruksi dari
> transformation lain.
>
> Demikian Bu, mohon maaf tidak sempat kasih contoh.
>
> Semoga membantu ya Bu.
>
> Regards,
>
> Feris
> Sent from my BlackBerry® smartphone from Sinyal Bagus XL, Nyambung
> Teruuusss...!
>

>> ------------------------------
>> *From: * Siti Mawaddah <siti.m...@gmail.com>
>> *Sender: * penta...@googlegroups.com
>> *Date: *Tue, 14 Dec 2010 17:06:34 +0700
>> *To: *<penta...@googlegroups.com>
>> *ReplyTo: * penta...@googlegroups.com
>> *Subject: *[pentaho-id] get file with ftp on kettle transformation not

>> pentaho-id+...@googlegroups.com<pentaho-id%2Bunsu...@googlegroups.com>


>> Untuk opsi lainnya, silahkan kunjungi
>> http://groups.google.com/group/pentaho-id?hl=id.
>> Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi
>> http://pentaho.phi-integration.com.
>> Milis terkait : http://groups.google.com/group/indo-bi
>>
>> --
>> Anda menerima pesan ini karena Anda telah terdaftar di Google
>> Groups "Pentaho User Group - Indonesia".
>> Untuk mengirim pesan ke grup ini, kirimkan email ke
>> penta...@googlegroups.com
>> Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke

>> pentaho-id+...@googlegroups.com<pentaho-id%2Bunsu...@googlegroups.com>

Siti Mawaddah

unread,
Dec 15, 2010, 2:47:25 AM12/15/10
to penta...@googlegroups.com
pak feris, maaf nih masih bingung... :(
kok masih gak bisa juga ya...

saya attach screenshot...
saya buat test utk transformation sederhana..
hanya copy dari tabel1 ke tabel lain
tabelnya berisi field nama dan id
yang saya butuhkan adalah field nama

jadi di wildcard saya isikan ${nama}

apakah benar spt itu?
ada yang kurang ya?

tadi saya penasaran dengan step get/set variable...
saya coba juga buat variable NAMA dengan value nama
sehingga di wildcard berisi ${NAMA}
tapi tetap tidak bisa ...

Mohon bantuannya pak feris.. terima kasih banyak :)



2010/12/15 Siti Mawaddah <siti.m...@gmail.com>
Screenshot-2.png
Screenshot-3.png
Screenshot-5.png

Feris Thia

unread,
Dec 17, 2010, 1:44:19 AM12/17/10
to penta...@googlegroups.com
Dear Bu Tya,

Mohon maaf telat reply... berikut saya coba jawab. Jadi begini, misalkan di table database kita ada 1 field saja seperti berikut :

nama_file
=======
data1.txt
data2.txt
data3.txt
..

Buat suatu job yang terdiri dari :
- satu transformation yang terdiri dari 1 table input step, kemudian lakukan penggabungan string (group by+modified javascript) sehingga nantinya menghasilkan string (data1.txt|data2.txt|data3.txt) . Ini akan menghasilkan satu row, dan set sebagai variable (misalkan pola).
- Satu get from ftp. Isi host, path, user dan password. Kemudian untuk Wildcard gunakan variable ${pola} yang kita definisikan di atas.
- Selesai

Mohon maaf belum bisa create contoh, mungkin kalau sudah agak legaan Bu :)

Semoga membantu....

Regards,

Feris

2010/12/15 Siti Mawaddah <siti.m...@gmail.com>

pak feris, maaf nih masih bingung... :(
kok masih gak bisa juga ya...

saya attach screenshot...
saya buat test utk transformation sederhana..
hanya copy dari tabel1 ke tabel lain
tabelnya berisi field nama dan id
yang saya butuhkan adalah field nama

jadi di wildcard saya isikan ${nama}

apakah benar spt itu?
ada yang kurang ya?

tadi saya penasaran dengan step get/set variable...
saya coba juga buat variable NAMA dengan value nama
sehingga di wildcard berisi ${NAMA}
tapi tetap tidak bisa ...

Mohon bantuannya pak feris.. terima kasih banyak :)



--
Thanks & Best Regards,

Feris Thia
Business Intelligence Consultant
PT. Putera Handal Indotama
Phone  : +6221-30119353
Fax      : +6221-5513483
Mobile : +628176-474-525
http://www.phi-integration.com
http://pentaho.phi-integration.com
http://sqlserver-tips.phi-integration.com



Siti Mawaddah

unread,
Dec 17, 2010, 4:59:05 AM12/17/10
to penta...@googlegroups.com
pak feris, terima kasih banyak ya jwabannya...
sangat teramat membantu ...
sudah solved... tapi ... saya ada masalah lagi nih... 
saya download file image (.png) dari ftp tsb... 
sudah download lama.. dan ukuran file sudah sesuai jika saya download manual... misalnya 276,2 KB
tapi, kok filenya jadi corrupt ya..... 

kira2 kenapa ya pak?
terima kasih lagi,,,,

2010/12/17 Feris Thia <fe...@phi-integration.com>



--
Anda menerima pesan ini karena Anda telah terdaftar di Google
Groups "Pentaho User Group - Indonesia".
Untuk mengirim pesan ke grup ini, kirimkan email ke penta...@googlegroups.com
Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
pentaho-id+...@googlegroups.com
Untuk opsi lainnya, silahkan kunjungi http://groups.google.com/group/pentaho-id?hl=id.
Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi http://pentaho.phi-integration.com.
Milis terkait : http://groups.google.com/group/indo-bi

Siti Mawaddah

unread,
Dec 17, 2010, 5:05:31 AM12/17/10
to penta...@googlegroups.com
maaf pak feris, gak jadi pertanyaannya...
tiba2 bisa... gak corrupt lagi....

terima kasihh banyaak ya pak feris... 
~kapan ya lanjut training :D

2010/12/17 Siti Mawaddah <siti.m...@gmail.com>

abdi rama

unread,
Dec 17, 2010, 7:49:23 AM12/17/10
to penta...@googlegroups.com
Dear Bu Tya,

1) Ada bagusnya untuk menambahkan checksum untuk file2 yang ditransfer.
2) UNtuk komparasi apa file asal dan file tujuan identik -- dibandingkan dengan checksum tersbut (  step - Transform - add a checksum )
3) sehingga apabila tidak sama, proses bisa diulang untuk yang tidak sama tersebut.

thanks & regards,
abdirama


2010/12/17 Siti Mawaddah <siti.m...@gmail.com>

Feris Thia

unread,
Dec 18, 2010, 4:57:45 AM12/18/10
to penta...@googlegroups.com
Sama-sama Bu Tya,

Untuk lanjutan workshop / trainingnya mungkin di Januari / Februari bisa ya ? Untuk saat ini lagi cukup padat lakukan prototyping dan planning untuk para partner di tahun depan :)

2010/12/17 Siti Mawaddah <siti.m...@gmail.com>

terima kasihh banyaak ya pak feris... 
~kapan ya lanjut training :D

Wildan Abdat

unread,
Dec 18, 2010, 11:46:55 AM12/18/10
to penta...@googlegroups.com
dear pak feris, apakah bisa handle file selain text file? Image or
binary file gitu? Jadi memang tidak ada transformasi data... Mungkin
bisa saya gunakan untuk file replication

Thanks

> --
> Anda menerima pesan ini karena Anda telah terdaftar di Google
> Groups "Pentaho User Group - Indonesia".
> Untuk mengirim pesan ke grup ini, kirimkan email ke
> penta...@googlegroups.com
> Untuk berhenti mendapatkan email dari grup ini,silahkan kirim email ke
> pentaho-id+...@googlegroups.com
> Untuk opsi lainnya, silahkan kunjungi
> http://groups.google.com/group/pentaho-id?hl=id.
> Untuk artikel teknis Pentaho dari PHI-Integration.com, silahkan kunjungi
> http://pentaho.phi-integration.com.
> Milis terkait : http://groups.google.com/group/indo-bi
>


--
--
Wildan Abdat <http://www.twitter.com/wildabdat>
*to Be or not to Bop*

Feris Thia

unread,
Dec 18, 2010, 12:10:48 PM12/18/10
to penta...@googlegroups.com
Dear Pak Wildan,

Confirm.. .sangat bisa :)

2010/12/18 Wildan Abdat <wild.a...@gmail.com>

dear pak feris, apakah bisa handle file selain text file? Image or
binary file gitu? Jadi memang tidak ada transformasi data... Mungkin
bisa saya gunakan untuk file replication

Thanks

--
Thanks & Best Regards,

Feris Thia
Business Intelligence Consultant
PT. Putera Handal Indotama
Phone  : +6221-30119353
Fax      : +6221-5513483
Mobile : +628176-474-525
http://www.phi-integration.com
http://pentaho.phi-integration.com
http://sqlserver-tips.phi-integration.com



Wildan Abdat

unread,
Dec 18, 2010, 3:42:50 PM12/18/10
to penta...@googlegroups.com
great... Thanks pak (ngulik dulu :D)

Reply all
Reply to author
Forward
0 new messages