OT: NAS yg dukung differential/incremental backup

[Damai]

Dear All,

Ada rekomendasi utk NAS yg dukung differential/incremental backup?

Jadi misalkan tiap bulan full backup 1x, kemudian tiap hari hanya backup
file yg berubah saja.
Backup bisa dengan run program dari PC maupun langsung dari NAS tsb.

Kalo dari server file sharing Windows, saya biasa pake winrar dgn option
manipulasi attribute archive.

Cuma kalo pake NAS WD dan Buffalo, PC Windows ada masalah dalam mereset
attribut archive
yg ada di NAS, terutama apabila yg create file/akses terakhir file tsb
bukan user yg melakukan backup.
Attribut archive tsb tidak bisa direset.

Sorry, ini asumsi backup dilakukan program dari PC Windows.
Apabila dari ubuntu bisa backup, ntar coba install ubuntu secara
virtual, dan run program backup dari ubuntu tsb.

Terima kasih.

Anto

[Dodik Kurniawan]

2012/11/14 Damai <dama...@yahoo.com.sg>:

> --
> --
> ---------------------------------------------------------
> Cara bertanya yang baik: http://wiki.linux.or.id/Cara_bertanya_yang_baik
> Etika Milis: http://wiki.ubuntu-id.org/EtikaMilis
> Milis: http://groups.google.com/group/id-ubuntu
>
>
>


coba pakai samba di linux dengan rsync sebagai backup.

[adi junaedi]

coba pake sofware backuppc pa...
jadi ceritanya kita bikin server lagi buat backup data dari file server kita
dia jalanya pake rsync tiap hari jalan atau sesuai dengan yang disetting ma kita

kalo mau restore tinngal cemplungin data yang  terakhir di backupke file server kitanya...

kita tenang user senang...:D

referensi
http://backuppc.sourceforge.net/info.html

[Harry Sufehmi]

On 11/14/12, Damai <dama...@yahoo.com.sg> wrote:
> Dear All,
> Ada rekomendasi utk NAS yg dukung differential/incremental backup?

Beberapa product Western Digital (misal: WD MBWE) sebetulnya adalah
linux appliance - dan bisa menjalankan NFS.

Saya pernah setup di salah satu client saya, dan dipakai untuk backup
data dari servernya menggunakan rsync -avu (backup just updated/new
files)

Bacaan lebih lanjut :

http://mybookworld.wikidot.com/nfs-server

Semoga membantu.


Salam, HS

[Damai]

Harry Sufehmi wrote:
> On 11/14/12, Damai <dama...@yahoo.com.sg> wrote:
>
>> Dear All,
>> Ada rekomendasi utk NAS yg dukung differential/incremental backup?
>>
>
> Beberapa product Western Digital (misal: WD MBWE) sebetulnya adalah
> linux appliance - dan bisa menjalankan NFS.
>
> Saya pernah setup di salah satu client saya, dan dipakai untuk backup
> data dari servernya menggunakan rsync -avu (backup just updated/new
> files)
>
> Bacaan lebih lanjut :
>
> http://mybookworld.wikidot.com/nfs-server
>
> Semoga membantu.
>
>
> Salam, HS
>
>

Terima kasih banyak utk semua bantuannya. :)

Ini saya lagi coba pake buffalo, dari web gui ada option backup, support
differential mode gitu, cuma kok agak aneh yach:
cmiiw,

1. utk menentukan apakah suatu file sudah pernah dibackup/mengalami
perubahan,
dia compare file di source dgn di destination, apabila beda baru dicopy.
kadang isi nas itu bisa 500gb, jumlah file bisa banyak sekali, utk
mengcompare gituan,menurut saya akan makan waktu yang lumayan banyak.
kalo di windows, dia tidak compare, cuma cek attribute 'archive' di file
tsb, kalo nyala langsung dicopy, jadinya praktis.
emang pake rsync metodenya juga compare gitu?

2. biasanya kalo di windows, hasil backup saya kira2 seperti ini:
- 20121101full.rar, full backup, sktr 200gb
- 20121102diff.rar, berisi file yg berubah sejak full backup terakhir,
paling 100mb
- 20121103diff.rar, berisi file yg berubah/tambah sejak full backup
terakhir, umumnya size lebih besar dari 02diff
- 20121104diff.rar, berisi file yg berubah/tambah sejak full backup
terakhir, umumnya size lebih besar dari 03diff
- dst

jadi saya punya beberapa set full dan diff , apabila ada masalah, bisa
mundur per 1 hari.

di buffalo, utk differential mode, dia selalu bikin folder _backups,
jadi itu namanya tetap sama, dan selalu isinya dibandingkan.
jadi apabila saya rename folder dgn tujuan dapat beberapa set, next nya
dia akan full backup karena tidak ada yg bisa dibandingkan. :)

rysnc bisa dapat beberapa set gitu?

kadang user baru sadar ada data yg hilang/ketimpa beberapa hari
kemudian, jadi harusnya kita bisa mundur beberapa hari juga. :)

btw, rencana ambil buffalo pro duo, cuma kayaknya tidak bisa spin off.
sudah pake beberapa buffalo pro, umumnya 2 tahun hdd pada rusak, curiga
maslah di spin off-nya.

kalo thecus n2200 ada yang pake? hdd nya kalo tidak dipake bisa spin
off? bagus?

thanks.

salam,

anto

[adi junaedi]

di backuppc ada metodenya..
 begini pa...
pertama ada full backup seminggu sekali nah ada setingan juga berapa lama full backup bisa di simpen misal 4 bearti data sebulan di simpennya
baru di timpa ama yang baru
nah untuk harianya ada backup rsyn sama ini juga mau berapa hari yang mau di simpen misal 7 bearti ada data seminggu buat di restore,
misal senen ketemu senen, nah yang minngu udah di timpa ma yang senen yang baru
kenapa ga bikin raid 5 ato 6 aja pa?
bikin dari pc lama yang ga kepake, trus beli hardisk 2 tera'an yang 7200 rpm  3 biji ato 4 biji
lebih murah kayanya dari pada beli yang branded
toh fungsinya sama juga..
cuma bedanya kita harus install linux + aplikasi backuppnya

anto

[Damai]

adi junaedi wrote:
> di backuppc ada metodenya..
> begini pa...
> pertama ada full backup seminggu sekali nah ada setingan juga berapa lama
> full backup bisa di simpen misal 4 bearti data sebulan di simpennya
> baru di timpa ama yang baru
> nah untuk harianya ada backup rsyn sama ini juga mau berapa hari yang mau
> di simpen misal 7 bearti ada data seminggu buat di restore,
> misal senen ketemu senen, nah yang minngu udah di timpa ma yang senen yang
> baru
>

tanya dong, :)
ini maksudnya pake rsync ada fasilitas mau berapa kali backup baru recycle?
tiap kalo backup dia simpan pake nama target directory yg sama or beda?
kalo nama target directorynya selalu sama, berarti dia ada sistem filing
sendiri dimana kita bisa restore per tanggal berapa gitu?
cara tahu filenya berubah berdasarkan apa? dibandingkan dgn hasil backup
sebelumnya or gimana?

> kenapa ga bikin raid 5 ato 6 aja pa?
> bikin dari pc lama yang ga kepake, trus beli hardisk 2 tera'an yang 7200
> rpm 3 biji ato 4 biji
> lebih murah kayanya dari pada beli yang branded
> toh fungsinya sama juga..
> cuma bedanya kita harus install linux + aplikasi backuppnya
>

menurut saya raid 5 (belum tahu raid 6 itu gimana) itu bukan backup,
tapi sejenis fault tolerance utk pencegahan kehilangan data karena
kerusakan harddisk.
data hilang bisa juga karena dihapus, ketimpa file lain dgn nama yg
sama, virus yg merusak/menimpa semua file dgn ext tertentu, dll.
kalo raid 5, berarti file tsb tetap berubah.
utk raid, sepertinya ada kecenderungan semua hdd dalam raid akan
mempunyai umur yg hampir sama, karena mengalami perlakuan yg sama.

saya lagi coba nas thecus n2200evo,
saya coba bandingkan dgn buffalo duo.

+ ada option sleep hdd.
- bahkan file owner tidak bisa update atribut archive dgn benar.
- hanya bisa create satu volume. jadi apabila pake jbod, hanya bisa
create satu volume jbod yg mengandung 2 hdd. tidak bisa create 2 volume
dgn masing2 1 hdd.
di buffalo bisa create 2 volume, jadi ntar waktu create share folder,
bisa dipilih mau menggunakan hdd yg mana. sehingga pas ada 1 hdd yg
mulai fail, kita tinggal replace hdd tsb saja.
kalo thecus kayaknya akan ribet, karena satu volume 2 hdd, berarti gak
bisa cabut salah satu hdd.... grrrr. keliatannya thecus seri 4xxx baru
bisa multiple volume.

fyi, thecus 2200 lebih mahal dari buffalo duo. sama2 dua bay. thecus
lebih gendut. bentuk buffalo lebih kecil dan kokoh.

thanks.
anto

[Harry Sufehmi]

> ini maksudnya pake rsync ada fasilitas mau berapa kali backup baru recycle?

Saya biasa menggunakan script buatan sendiri, yang akan otomatis
melakukan backup + arsip dengan periode tertentu (1 minggu / 2 minggu
/ dst) : http://harry.sufehmi.com/archives/2012-03-19-2467/

> menurut saya raid 5 (belum tahu raid 6 itu gimana) itu bukan backup,
> tapi sejenis fault tolerance utk pencegahan kehilangan data karena
> kerusakan harddisk.

RAID 5 itu problem -- ketika ada hard disk yang rusak & diganti,
proses recovery nya sangat lama + lambat. Membuat lumpuh server tsb.

RAID 5 juga lebih lambat proses writenya (ada performance penalty nya).

Lebih baik pasang RAID 10 saja.

> saya lagi coba nas thecus n2200evo,
> saya coba bandingkan dgn buffalo duo.

Saat ini saya pakai hotspot TP-Link WR1043ND yang dipasangi OpenWRT --
sehingga menjadi NAS :
http://www.tp-link.com/en/products/details/?model=TL-WR1043ND

Hasilnya sangat memuaskan, hard disk 3 TB saya yang dicolok ke hotspot
ini sekarang jadi bisa diakses dari seluruh rumah :
http://i.imgur.com/A7jPz.png

Kita bisa bebas sekali pilih mau di sharing dengan cara apa : Windows
/ Samba share, NFS, media server, FTP / SFTP, dst.

OpenWRT juga punya modul mdadm, sehingga kita bisa setup RAID.

> + ada option sleep hdd.

Ada modul ini juga di OpenWRT, sudah saya pasang juga untuk menghemat
listrik + perpanjang umur hard disk.

Kelebihan TP-Link + OpenWRT :

(#) OpenWRT berbasis Linux = fleksibel, bisa melakukan nyaris apa
saja. Berbeda dengan berbagai firmware NAS yang serba terbatas.

(#) Murah : TP-Link WR1043ND harganya hanya sekitar Rp 300.000-an,
dibanding dengan berbagai NAS yang harganya ada sampai puluhan juta
rupiah.

(#) Juga ada modul rsync di OpenWRT = bisa differential backup

(#) Hemat listrik : daripada menggunakan komputer desktop untuk fungsi
ini, yang konsumsi listriknya JAUH lebih besar lagi.

(#) Kencang : appliance ini sudah Gigabit ethernet nya.

(#) Fitur hotspotnya menjadi bonus :)


Salam, HS

[adi junaedi]

anto

--
--
---------------------------------------------------------
Cara bertanya yang baik: http://wiki.linux.or.id/Cara_bertanya_yang_baik
Etika Milis: http://wiki.ubuntu-id.org/EtikaMilis
Milis: http://groups.google.com/group/id-ubuntu

anya dong, :)
ini maksudnya pake rsync ada fasilitas mau berapa kali backup baru recycle?
tiap kalo backup dia simpan pake nama target directory yg sama or beda?
kalo nama target directorynya selalu sama, berarti dia ada sistem filing sendiri dimana kita bisa restore per tanggal berapa gitu?
cara tahu filenya berubah berdasarkan apa? dibandingkan dgn hasil backup sebelumnya or gimana?

di backuppc emang ada kaya gitu...
ceritanya agan mau berapa kali backup rsync yang mau di keep , misal kalo backupnya 1 hari sekali data semingu yamh mau di pake ya bearti 7 backup rsyn yang di keep
kalo mau backupnya 1 jam sekali?, tinggal di kali aja...
di backuppc data tidak di simpan sebagai data mentah, tapi di pooling dan di kompres , jadi gede data yang di backup
bakal kecil
coba baca dulu di backuppc feature

http://backuppc.sourceforge.net/info.html

iya kita bisa restore pertanggal ato per jam sebagai mana setting kita diatas...
kalo rsyn sih data berubah baru di backup
nah data yang ga berubah di backup oleh full backup yang seminggu sekali jalan+ data yang ada saat itu...

>menurut saya raid 5 (belum tahu raid 6 itu gimana) itu bukan backup, tapi sejenis fault tolerance utk pencegahan kehilangan > data karena kerusakan harddisk.
> data hilang bisa juga karena dihapus, ketimpa file lain dgn nama yg sama, virus yg merusak/menimpa semua file dgn ext > tertentu, dll.
> kalo raid 5, berarti file tsb tetap berubah.
> utk raid, sepertinya ada kecenderungan semua hdd dalam raid akan mempunyai umur yg hampir sama, karena mengalami > perlakuan yg sama.

untuk raid iya memang untuk menjaga agar menjaga data ga hilang buat kan agan ngomong katanya kalo hardisk  rusak kalo udah 2 taun?, nah raid solusi buat itu..., saya pake udah 6 taun masih anteng
kalo mau sampe vero failure bisa di tambah hotswap di raidnya...
 

[Damai]

Thanks utk infonya, ada mainan baru lagi... :)
openwrt bisa sharing folder per user gitu? mana yg boleh write/readonly
gitu?
dulu2 pernah coba freenas (gak bisa per user gitu), dan openfiler(bisa
per user).

rsync sepertinya utk restore harus keseluruhan per tanggal, tidak bisa
per file gitu?

ini lagi cari software backup yg menggunakan sistem compare dgn backup
sebelumnya, dan hasil backup bisa disimpan di folder lain (bukan
ditambah ke folder compare tsb),
sehingga kita bisa punya beberapa set backup. ada saran? under linux or
win is okay. prefer under win sih.

backuppc belum coba sih... one of the three best well know open source
backup software in 2007...

thanks.
anto

[Endy Muhardin]

2012/11/16 Damai <dama...@yahoo.com.sg>

1. utk menentukan apakah suatu file sudah pernah dibackup/mengalami perubahan,
dia compare file di source dgn di destination, apabila beda baru dicopy.
kadang isi nas itu bisa 500gb, jumlah file bisa banyak sekali, utk mengcompare gituan,menurut saya akan makan waktu yang lumayan banyak.
kalo di windows, dia tidak compare, cuma cek attribute 'archive' di file tsb, kalo nyala langsung dicopy, jadinya praktis.
emang pake rsync metodenya juga compare gitu?

Pertanyaan ini kayaknya belum terjawab, saya bantu jawab ya.

Settingan awal (default), rsync akan membandingkan atribut last-modified dan ukuran file.

Kalau beda, berarti dianggap filenya udah berubah dan harus ditransfer.

Kadangkala, last-modified dan ukuran file saja tidak cukup, karena ada file metadata yang kalau kita edit tidak terdeteksi, misalnya mengedit metadata file MP3.

Untuk ini, kita bisa pakai opsi -c, yaitu membandingkan checksum menggunakan algoritma MD4.

Karena sudah lama tidak pakai windows, saya gak tau apa itu atribut 'archive'. 

Saya asumsikan Anda 'menandai' file/folder mana yang mau ikut dibackup dan mana yang tidak perlu.

Kalau benar itu maksudnya, di rsync ada opsi untuk exclude. 

Kita bisa tentukan misalnya file *.doc dibackup, *.mp3 tidak usah.

 

2. biasanya kalo di windows, hasil backup saya kira2 seperti ini:
- 20121101full.rar, full backup, sktr 200gb
- 20121102diff.rar, berisi file yg berubah sejak full backup terakhir, paling 100mb
- 20121103diff.rar, berisi file yg berubah/tambah sejak full backup terakhir, umumnya size lebih besar dari 02diff
- 20121104diff.rar, berisi file yg berubah/tambah sejak full backup terakhir, umumnya size lebih besar dari 03diff
- dst

jadi saya punya beberapa set full dan diff , apabila ada masalah, bisa mundur per 1 hari.

di buffalo, utk differential mode, dia selalu bikin folder _backups, jadi itu namanya tetap sama, dan selalu isinya dibandingkan.
jadi apabila saya rename folder dgn tujuan dapat beberapa set, next nya dia akan full backup karena tidak ada yg bisa dibandingkan. :)

rysnc bisa dapat beberapa set gitu?

Ini istilahnya incremental backup. 

rsync bisa melakukan ini, dengan opsi link-dest. 

Opsi ini membuat hard-link, yaitu hanya menulis nama file saja, sedangkan isi file tetap diarahkan ke lokasi harddisk yang menyimpan data file tersebut.

Sehingga satu lokasi data di harddisk direferensikan oleh dua nama file.

Hard link ini adalah fitur di Linux dan saya tidak tahu apakah di Windows support fitur ini, 

dan juga kalaupun ada fitur sejenis, apakah bisa dimanfaatkan oleh rsync.

 

Lebih lanjut tentang teknik backup menggunakan rsync bisa baca-baca tutorial saya di sini:

http://software.endy.muhardin.com/linux/backup-home-folder/ 

Semoga bermanfaat.

Endy Muhardin
http://software.endy.muhardin.com