Mengolah Multiple Database

[hermes_noob]

Salam Master-master sekalian,

saya kebetulan baru hendak belajar administrasi database di MYSQL ini, jadi saya menemukan permasalahan dalam development sistem sebuah perusahaan.
sistem yang diinginkan adalah sebagai berikut :

1.perusahaan tersebut memiliki 5 buah kios pada beberapa daerah yang berjauhan, dengan demikian sistem point of sale yang di inginkan adalah tidak terintegrasi antara 1 dengan yang lainnya,
dengan kata lain masing-masing kios memiliki databasenya dan aplikasi sendiri [database server local]. Cara ini dipilihnya karena khawatir jika terjadi permasalahan pada internet sistem point of sale tidak bisa bekerja jika, sistem itu online.

2.tapi dalam periode tertentu ( setiap hari minggu ), data transaksi penjualan pada setiap kios hendak di integrasikan kedalam 1 databse central, dengan kata lain semua data transaksi setiap kios
harus di copy kedalam sebuah database central, seperti gambar berikut.




untuk berusaha mencapai tujuan ini, beberapa hal yang telah saya lakukan saat ini adalah :
saya membuat stored procedure untuk generate primary key setiap table dalam masing-masing database kios, dengan tujuan jika kelak di integrasikan kedatabase central, tidak terjadi error.
sebagai contoh primary key sebuah data transaksi dikios 1 adalah : 12082012-kios1-00001 dan dikios2 ada;ah : 12082012-kios2-00001.

Namun yang masih menjadi masalah yang saya hadapi adalah. saya belum mengetahaui teknologi apa yang bisa di gunakan untuk melakukan integrasi data ke database central. dikarenakan
pada hasi selain hari minggu, jaringan internet setiap kios tidak tersedia. Dan jaringan internet hanya tersedia pada hari minggu.

dimohonkan bantuannya kepada master-master sekalian,

Terimakasih Banyak..

[Fajar A. Nugraha]

2012/8/13 hermes_noob <vidi....@gmail.com>

> harus di copy kedalam sebuah database central, seperti gambar berikut.

Milis ini gak bisa kirim attachment/gambar Om.

> Namun yang masih menjadi masalah yang saya hadapi adalah. saya belum mengetahaui teknologi apa yang bisa di gunakan untuk melakukan integrasi data ke database central. dikarenakan
> pada hasi selain hari minggu, jaringan internet setiap kios tidak tersedia. Dan jaringan internet hanya tersedia pada hari minggu.

Menyusahkan diri sendiri :P

>
> dimohonkan bantuannya kepada master-master sekalian,

Opsi generik (recommended): buat semacam journal di tiap lokasi, yang
intinya sih text file berisi semua perubahan di lokasi itu. Formatnya
mau sql kek, mau CVS kek, ato format lain, whatever, yang penting bisa
ditransfer dan diproses di pusat.

Opsi "males": baca mulai
http://dev.mysql.com/doc/refman/5.1/en/federated-storage-engine.html
Be VERY careful kalo pake opsi ini, sering kali query sederhana
berubah jadi transfer data full table dari remote. Kalo salah makenya,
bukannya jadi cepet, malah jadi super lambat dan ngabisin BW.

--
FAN

[vidi hermes]

maaf om, ini permintaan customer nya boss saya hanya bisa mengikuti, dan kami yang programmer yang harus mencari tahu bagaimana caranya, itu bisa pakai replication ( sebenarnya saya sendiri masih kurang paham dnegan hal ini )  ngga ya om..?

ini gambarnya om, pake link photobucket:

http://i1220.photobucket.com/albums/dd458/hermes1986/Drawing1.gif

makasih banyak ya Om..

2012/8/13 Fajar A. Nugraha <li...@fajar.net>

--
Untuk memposting, silakan reply email ini atau kirim email baru ke alamat: mysql-i...@googlegroups.com
Untuk berhenti keanggotaan, silakan kirim email kosong ke alamat: mysql-indones...@googlegroups.com

Untuk melihat arsip milis, member, atau hal-hal lainnya silakan kunjungi alamat: http://groups.google.com/group/mysql-indonesia?hl=id

[vidi hermes]

Om kira-kira ada solusi apa ya yang tidak harus melakukan query secara manual atau disimpan dlu berupa file text, begitu..

makasih banyak om-om sekalian, dimohonkan bantuannya...

2012/8/13 vidi hermes <vidi....@gmail.com>

[Fajar A. Nugraha]

Ada. Pake solusi online 24x7 :)

Seriously, bukannya di situ mestinya peran business/system analyst yak?

Nggak semua requirement customer itu harus diikuti. Nggak semua
requirement customer itu BISA diikuti. Case paling sering, kalo maksa
ngikutin, akan terbentur salah satu constraint budget-time-quality.

BTW, replikasi itu mirip kok sama saran saya sebelumnya. Bedanya, kalo
replikasi mysql, "jounal"-nya itu pake formatnya binary log mysql, dan
yang generate db (bukan aplikasi). BISA sih masing2 db kios
direplikasi ke db lokal (dengan kata lain, akan punya db lokal
sejumlah kios). Tapi tetep mesti digabung sendiri. Salah satu cara
gabungnya ya tadi, pake federated juga :D

Ada sih opsi lain yang kerjanya di level db juga:
http://continuent.com/solutions/tungsten-replicator , kali-kali cocok.
But IMHO daripada coba solusi baru yang kompleks dan blom tentu bisa
dimengerti (punya experienced DBA nggak?), mending buat sesederhana
mungkin: pake TEXT FILE :)

--
FAN

2012/8/13 vidi hermes <vidi....@gmail.com>:

[vidi hermes]

ngga punya experience DBA om, ini aja baru2 mulai belajar nih Om..., oh coba saya googling dlu gimana caranya membuat journal seperti saran Om Fajar..

>>Opsi generik (recommended): buat semacam journal di tiap lokasi, yang
>>intinya sih text file berisi semua perubahan di lokasi itu. Formatnya
>> mau sql kek, mau CVS kek, ato format lain, whatever, yang penting bisa
>>ditransfer dan diproses di pusat.

soalnya masih belum gt ngerti, maklum baru kerja, baru bisa query2 dan design database aja...

makasih ya om..

2012/8/13 Fajar A. Nugraha <li...@fajar.net>

Ada. Pake solusi online 24x7 :)

[vidi hermes]

>>Opsi generik (recommended): buat semacam journal di tiap lokasi, yang
>>intinya sih text file berisi semua perubahan di lokasi itu. Formatnya
>> mau sql kek, mau CVS kek, ato format lain, whatever, yang penting bisa
>>ditransfer dan diproses di pusat.

oh iya Om, kalau pake cara ini, proses-proses nya gimana ya Om..? harus dari aplikasi atau bisa dilakukan dari database ya om, soalnya saya googling dengan keyword 'mysql journal' ngga ketemu Om..

makasih Banyak... Om..

[Fajar A. Nugraha]

2012/8/13 vidi hermes <vidi....@gmail.com>:

>>>Opsi generik (recommended): buat semacam journal di tiap lokasi, yang
>>>intinya sih text file berisi semua perubahan di lokasi itu. Formatnya
>>> mau sql kek, mau CVS kek, ato format lain, whatever, yang penting bisa
>>>ditransfer dan diproses di pusat.
>
> oh iya Om, kalau pake cara ini, proses-proses nya gimana ya Om..? harus dari
> aplikasi

paling simpel dari aplikasi. Misal, kalo ada transaksi pembelian,
selain nulis ke db, tulis juga ke text file.

--
FAN

[vidi hermes]

og begitu, kalau begitu query2 nya kita tulis ke log file tersebut ya, ok ic... Om kalau misalkan ngga mau dari aplikasi tapi dari databasenya sendiri bisa ngga ya?

makasih Om

2012/8/13 Fajar A. Nugraha <li...@fajar.net>

2012/8/13 vidi hermes <vidi....@gmail.com>:

[nofalir...@gmail.com]

Om buat file log atau script sqlnya mesti di coding tuh

Powered by Telkomsel BlackBerry®

---

From: vidi hermes <vidi....@gmail.com>

Sender: mysql-i...@googlegroups.com

Date: Mon, 13 Aug 2012 14:51:19 +0700

To: <mysql-i...@googlegroups.com>

ReplyTo: mysql-i...@googlegroups.com

Subject: Re: [MySQL-Indonesia] Mengolah Multiple Database

[Aris Setyawan]

> paling simpel dari aplikasi. Misal, kalo ada transaksi pembelian,
> selain nulis ke db, tulis juga ke text file.

Supaya lebih simple. Yang ditulis ke text file adalah statement SQL
nya. Jadi proses sinkronisasi bisa out of the box, tanpa melihat isi
datanya. SQL tinggal dieksekusi di remote node.

Tehnik ini pernah dipakai rekan sy untuk sinkronisasi data antar
gerbanga jalan tol, dimana wireless connectionnya putus nyambung. Dan
bekerja dengan baik.

Btw, cara ini sebenarnya mengadopsi cara kerja statement based replication.

[vidi hermes]

oh begitu, makasih ya Om.. itu berarti di text file nya dibuat per tanggal ya? belum experience nulis ke text file sih..

2012/8/13 Aris Setyawan <aris...@gmail.com>

[Endy Muhardin]

2012/8/14 vidi hermes <vidi....@gmail.com>:

> oh begitu, makasih ya Om.. itu berarti di text file nya dibuat per tanggal
> ya? belum experience nulis ke text file sih..

Coba google dengan keyword mysql select into outfile.
Untuk masalah primary key, jangan bikin algoritma sendiri.
Pakai yang sudah establish, misalnya UUID.
Apa itu uuid dan bagaimana cara implementnya di MySQL bisa digoogle
dengan keyword mysql uuid.

Senada dengan mas Fajar, sebisa mungkin urusan online offline ini
dinegosiasikan dengan client supaya bisa full online.
Ini adalah road to maintenance hell, saya sudah mengalami sendiri.
Bukan cuma urusan upload data ke pusat aja yang harus dipertimbangkan,
tapi juga ada :

1. Bagaimana menghandle double upload (sudah pernah upload, tapi diupload lagi)
Berarti harus ada checking content file dan timestampnya biar tau file
mana yang duluan mana belakangan

2. Bagaimana menghandle kasus data yang gak kompatibel.
Ini bisa terjadi karena corrupt pada saat generate, pada saat
transfer, atau versi di cabang beda dengan di pusat

3. Bagaimana menghandle update data dari pusat. Misalnya ada update
harga produk, jenis produk baru, produk lama tidak dijual lagi, dsb.

Kalo saya sih, mendingan saya beliin GSM modem yang sekarang harganya
cuma 100 ribu daripada pusing urusan ini.

--
Endy Muhardin
http://endy.artivisi.com

[vidi hermes]

iya Om, terimakasih atas sarannya, coba saya kasih tahu ke boss saya lagi, maklum mereka yang nego dengan customer kita, programmer hanya mencoba melaksanakan, kahirnya pusing dan nyari bantuan kemana-mana..

makasih ya mas..

2012/8/14 Endy Muhardin <endy.m...@gmail.com>

[Mardiyanto peace]

Sebetulnya Untuk mengatasi hal itu sngatlah sederhana,

anda tinggal membuat fasilitas untuk mengeksport data penjualan. sehingga hasil export dari semua kios formatnya sama. 

anda bisa mengexport sesuai keinginan anda, misalnya dalam format excel,text dan lain lain.

file hasil export tersebut kan bisa disave ke flashdisk, kemudian di-email via warnet.

di pusat nanti di download.

untuk pusat, anda tinggal membuat aplikasi untuk import data dari data data yang dieksport oleh masing-masing cabang.

demikian semoga bisa membantu.

2012/8/13 hermes_noob <vidi....@gmail.com>

[Natali Ardianto]

Saya pernah ngajar mysql, oracle dan ms sql server. Dulu waktu ngajar, cara ini pernah dipraktekkan, tapi di ms sql server, pakai snapshot. Suruh pindah sql server saja apa? Hahaha j/k

Ngomong2, pakai replikasi sebenernya bisa lho, karena lognya mysql itu isinya ya query insert delete update. Konfigurasinya master-master, trus yg di replikasi table tertentu saja. Gwe saranin sih satu table namanya replication_transaction. Nanti dari sini, data dipindah ke tabel transaksi beneran yg sudah diolah.

Di level aplikasi, primary key digenerate pakai md5, kombinasi store_id dan transaction_id, sehingga ngga akan pernah collision dgn kios yg lain. Md5("kios1" . "000000000000001") (tipe data unsigned zerofill).

Lalu datanya, hanya boleh replace sama update saja, ngga boleh update, karena update is the root of all evil ketika transaksional. Pakai replace untuk updatenya (REPLACE INTO). Ngga akan error karena kalau primary keynya conflict (which is key yg sama) ya di 'update'.

Nah sekarang kenapa pakai replikasi? Karena sebenarnya replikasi bisa 'continue'. Jadi begitu ada koneksi, dia bisa melanjutkan dari posisi terakhir. Konfigurasi master masternya bentuknya ada satu yg super master (pusat) dan yg lainnya master. Kelemahannya adalah cabang2 akan mendapatkan data dari cabang lain, tapi ini terpaksa agar ada konsistensi database.

Tapi, kalau main fine grain control, mending handlenya di level aplikasi, bikin batch system untuk sync. Saya pikir lebih manusiawi. Kayanya sih kalian butuh konsultan system architect. Sekompleks ini sih sudah ngga cocok dikonsultasikan di 

On Monday, August 13, 2012, Mardiyanto peace wrote:

Sebetulnya Untuk mengatasi hal itu sngatlah sederhana,

anda tinggal membuat fasilitas untuk mengeksport data penjualan. sehingga hasil export dari semua kios formatnya sama. 

anda bisa mengexport sesuai keinginan anda, misalnya dalam format excel,text dan lain lain.

file hasil export tersebut kan bisa disave ke flashdisk, kemudian di-email via warnet.

di pusat nanti di download.

untuk pusat, anda tinggal membuat aplikasi untuk import data dari data data yang dieksport oleh masing-masing cabang.

demikian semoga bisa membantu.

2012/8/13 hermes_noob <vidi....@gmail.com>

Salam Master-master sekalian,

saya kebetulan baru hendak belajar administrasi database di MYSQL ini, jadi saya menemukan permasalahan dalam development sistem sebuah perusahaan.
sistem yang diinginkan adalah sebagai berikut :

1.perusahaan tersebut memiliki 5 buah kios pada beberapa daerah yang berjauhan, dengan demikian sistem point of sale yang di inginkan adalah tidak terintegrasi antara 1 dengan yang lainnya,
dengan kata lain masing-masing kios memiliki databasenya dan aplikasi sendiri [database server local]. Cara ini dipilihnya karena khawatir jika terjadi permasalahan pada internet sistem point of sale tidak bisa bekerja jika, sistem itu online.

2.tapi dalam periode tertentu ( setiap hari minggu ), data transaksi penjualan pada setiap kios hendak di integrasikan kedalam 1 databse central, dengan kata lain semua data transaksi setiap kios

harus di copy kedalam sebuah database central, seperti gambar berikut.

untuk berusaha mencapai tujuan ini, beberapa hal yang telah saya lakukan saat ini adalah :
saya membuat stored procedure untuk generate primary key setiap table dalam masing-masing database kios, dengan tujuan jika kelak di integrasikan kedatabase central, tidak terjadi error.
sebagai contoh primary key sebuah data transaksi dikios 1 adalah : 12082012-kios1-00001 dan dikios2 ada;ah : 12082012-kios2-00001.

Namun yang masih menjadi masalah yang saya hadapi adalah. saya belum mengetahaui teknologi apa yang bisa di gunakan untuk melakukan integrasi data ke database central. dikarenakan
pada hasi selain hari minggu, jaringan internet setiap kios tidak tersedia. Dan jaringan internet hanya tersedia pada hari minggu.

dimohonkan bantuannya kepada master-master sekalian,

Terimakasih Banyak..

--
Untuk memposting, silakan reply email ini atau kirim email baru ke alamat: mysql-i...@googlegroups.com
Untuk berhenti keanggotaan, silakan kirim email kosong ke alamat: mysql-indones...@googlegroups.com
 
Untuk melihat arsip milis, member, atau hal-hal lainnya silakan kunjungi alamat: http://groups.google.com/group/mysql-indonesia?hl=id

--
Untuk memposting, silakan reply email ini atau kirim email baru ke alamat: mysql-i...@googlegroups.com
Untuk berhenti keanggotaan, silakan kirim email kosong ke alamat: mysql-indones...@googlegroups.com
 
Untuk melihat arsip milis, member, atau hal-hal lainnya silakan kunjungi alamat: http://groups.google.com/group/mysql-indonesia?hl=id

--

With respect,
 
Natali Ardianto
http://tiket.com

nat...@ardianto.com
twitter blog linkedIn

[utomo.wahy...@gmail.com]

Saya wahyu utomo, saya pemula dalam hal MySQL....
mau tanya dong sma yang uda pada master-master d forum ini..hehehe
saya pengguna Primavera Oracle Project Management P6, bisa ga c kalau misalnya MySQL itu dihubungkan dengan software Primavera untuk bisa membuat indikator dalam Primavera tersebut..

Terima kasih.