info
Google Groups no longer supports new Usenet posts or subscriptions. Historical content remains viewable.
Dismiss
Filesystem con compressione
4 views
Skip to first unread message
Alessadro Baggi
Oct 19, 2021, 3:50:08 AM10/19/21
to
Buongiorno a tutta la lista.
Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1
con mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei
filesystem che avessero la compressione trasparente e ho trovato btrfs e
ZFS. Leggendo sui due, ho preso nota anche di tutte le altre
caratteristiche come deduplicazione, checksumming e relativo recovery,
snapshot, COW filesystem e varie.
Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai
molti problemi che presenta btrfs.
ZFS d'altra parte (se non sbaglio si trova in contrib) è di tutt'altra
pasta, funziona bene ma (al di fuori della licenza) il sistema deve
compilare un modulo e ad ogni aggiornamento del kernel dkms deve
ricompilarlo e questo mi rende nervoso. Non vorrei che la compilazione
con dkms fallisse e il filesystem non più accessibile. ZFS l'ho provato
in macchina virtuale con volumi in raid1, e a primo sguardo sembra
eccellente...l'unica cosa che mi lascia perplesso oltre a dkms è che
durante l'installazione viene mostrato una specie di disclaimer dove si
dice che si puo andare incontro a problemi legali per la licenza (sapete
quali e in quali casi ci si va incontro?). Se non ricordo male Ubuntu lo
utilizza e integra senza problemi.
Ora avendo poca esperienza con tutti e due, qualcuno ha avuto a che fare
con questo tipo di filesystem? Avete incontrato particolari problemi? Ci
sono alternative valide?
Grazie a tutti in anticipo e per il tempo dedicato.
[0] https://wiki.debian.org/Btrfs
Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1
con mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei
filesystem che avessero la compressione trasparente e ho trovato btrfs e
ZFS. Leggendo sui due, ho preso nota anche di tutte le altre
caratteristiche come deduplicazione, checksumming e relativo recovery,
snapshot, COW filesystem e varie.
Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai
molti problemi che presenta btrfs.
ZFS d'altra parte (se non sbaglio si trova in contrib) è di tutt'altra
pasta, funziona bene ma (al di fuori della licenza) il sistema deve
compilare un modulo e ad ogni aggiornamento del kernel dkms deve
ricompilarlo e questo mi rende nervoso. Non vorrei che la compilazione
con dkms fallisse e il filesystem non più accessibile. ZFS l'ho provato
in macchina virtuale con volumi in raid1, e a primo sguardo sembra
eccellente...l'unica cosa che mi lascia perplesso oltre a dkms è che
durante l'installazione viene mostrato una specie di disclaimer dove si
dice che si puo andare incontro a problemi legali per la licenza (sapete
quali e in quali casi ci si va incontro?). Se non ricordo male Ubuntu lo
utilizza e integra senza problemi.
Ora avendo poca esperienza con tutti e due, qualcuno ha avuto a che fare
con questo tipo di filesystem? Avete incontrato particolari problemi? Ci
sono alternative valide?
Grazie a tutti in anticipo e per il tempo dedicato.
[0] https://wiki.debian.org/Btrfs
Alessadro Baggi
Oct 19, 2021, 4:40:03 AM10/19/21
to
Il 19/10/21 10:27, Bertorello, Marco ha scritto:
>
> Il 19/10/2021 09:36, Alessadro Baggi ha scritto:
>> Buongiorno a tutta la lista.
>>
>> Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in
>> raid1 con mdadm. Il backup lo faccio con uno script rsync. Stavo
>> cercando dei filesystem che avessero la compressione trasparente e ho
>> trovato btrfs e ZFS. Leggendo sui due, ho preso nota anche di tutte
>> le altre caratteristiche come deduplicazione, checksumming e relativo
>> recovery, snapshot, COW filesystem e varie.
>>
>> Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai
>> molti problemi che presenta btrfs.
>>
>> ZFS d'altra parte (se non sbaglio si trova in contrib) è di
>> tutt'altra pasta, funziona bene ma (al di fuori della licenza) il
>> sistema deve compilare un modulo e ad ogni aggiornamento del kernel
>> dkms ..........
> Il 19/10/2021 09:36, Alessadro Baggi ha scritto:
>> Buongiorno a tutta la lista.
>>
>> Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in
>> raid1 con mdadm. Il backup lo faccio con uno script rsync. Stavo
>> cercando dei filesystem che avessero la compressione trasparente e ho
>> trovato btrfs e ZFS. Leggendo sui due, ho preso nota anche di tutte
>> le altre caratteristiche come deduplicazione, checksumming e relativo
>> recovery, snapshot, COW filesystem e varie.
>>
>> Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai
>> molti problemi che presenta btrfs.
>>
>> ZFS d'altra parte (se non sbaglio si trova in contrib) è di
>> tutt'altra pasta, funziona bene ma (al di fuori della licenza) il
>> sistema deve compilare un modulo e ad ogni aggiornamento del kernel
>> Grazie a tutti in anticipo e per il tempo dedicato.
>>
>>
>> [0] https://wiki.debian.org/Btrfs
>>
> Non lo uso per macchine fisiche, ma so che sono supportate attraverso
>>
>>
>> [0] https://wiki.debian.org/Btrfs
>>
> un agent, tuttavia mi sento di consigliarti questo:
>
> https://www.proxmox.com/en/proxmox-backup-server
>
> Puo' usare ZFS e, nel caso, farebbe sia compressione che deduplica.
>
> Io lo uso con molta soddisfazione fin dalle prime beta. Puo' anche
> essere usato per replicare i backup verso un altro PBS (io lo uso
> cosi' per il backup off-site via VPN e lo trovo davvero efficiente).
>
> Saluti,
>
Ciao e grazie per la risposta.
grazie per la risorsa. Tu hai avuto esperienze con ZFS?
Marco Ciampa
Oct 19, 2021, 4:50:02 AM10/19/21
to
On Tue, Oct 19, 2021 at 09:36:33AM +0200, Alessadro Baggi wrote:
> Buongiorno a tutta la lista.
>
> Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1 con
> mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei
> filesystem che avessero la compressione trasparente e ho trovato btrfs e
> ZFS. Leggendo sui due, ho preso nota anche di tutte le altre caratteristiche
> come deduplicazione, checksumming e relativo recovery, snapshot, COW
> filesystem e varie.
>
> Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai molti
> problemi che presenta btrfs.
In particolare quale problema ti assilla?
> Buongiorno a tutta la lista.
>
> Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1 con
> mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei
> filesystem che avessero la compressione trasparente e ho trovato btrfs e
> ZFS. Leggendo sui due, ho preso nota anche di tutte le altre caratteristiche
> come deduplicazione, checksumming e relativo recovery, snapshot, COW
> filesystem e varie.
>
> Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai molti
> problemi che presenta btrfs.
> ZFS d'altra parte (se non sbaglio si trova in contrib) è di tutt'altra
> pasta, funziona bene
sappi che btrfs è usato in ambito enterprise da aziende multinazionali.
Se va bene per loro penso possa andare bene anche per te...
https://forum.armbian.com/topic/16285-why-i-prefer-zfs-over-btrfs/
il discorso che fa il tipo nella prima risposta, che non è un fan btrfs
ma neanche zfs anche se usa il secondo, è molto onesto...
> ma (al di fuori della licenza) il sistema deve
> compilare un modulo e ad ogni aggiornamento del kernel dkms deve
> ricompilarlo e questo mi rende nervoso. Non vorrei che la compilazione con
> dkms fallisse e il filesystem non più accessibile.
> ZFS l'ho provato in
> macchina virtuale con volumi in raid1, e a primo sguardo sembra
> eccellente...l'unica cosa che mi lascia perplesso oltre a dkms è che durante
> l'installazione viene mostrato una specie di disclaimer dove si dice che si
> puo andare incontro a problemi legali per la licenza (sapete quali e in
> quali casi ci si va incontro?). Se non ricordo male Ubuntu lo utilizza e
> integra senza problemi.
"interpretato" la licenza in modo "creativo". Ovvio(?) che Oracle non
denuncerà mai Canonical ma non è questo il punto... qui siamo in Debian
con una filosofia un "filino" diversa ... o no?
> Ora avendo poca esperienza con tutti e due, qualcuno ha avuto a che fare con
> questo tipo di filesystem? Avete incontrato particolari problemi? Ci sono
> alternative valide?
--
Saluton,
Marco Ciampa
Alessadro Baggi
Oct 19, 2021, 6:10:03 AM10/19/21
to
Il 19/10/21 10:46, Marco Ciampa ha scritto:
> On Tue, Oct 19, 2021 at 09:36:33AM +0200, Alessadro Baggi wrote:
>> Buongiorno a tutta la lista.
>>
>> Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1 con
>> mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei
>> filesystem che avessero la compressione trasparente e ho trovato btrfs e
>> ZFS. Leggendo sui due, ho preso nota anche di tutte le altre caratteristiche
>> come deduplicazione, checksumming e relativo recovery, snapshot, COW
>> filesystem e varie.
>>
>> Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai molti
>> problemi che presenta btrfs.
> In particolare quale problema ti assilla?
>
La perdita dei dati (anche se sono backup). Leggendo il wiki sembra non
>> Buongiorno a tutta la lista.
>>
>> Ho un piccolo server di backup con Debian 11 e 2 dischi da 3TB in raid1 con
>> mdadm. Il backup lo faccio con uno script rsync. Stavo cercando dei
>> filesystem che avessero la compressione trasparente e ho trovato btrfs e
>> ZFS. Leggendo sui due, ho preso nota anche di tutte le altre caratteristiche
>> come deduplicazione, checksumming e relativo recovery, snapshot, COW
>> filesystem e varie.
>>
>> Leggendo su btrfs da qui [0] sono rimasto abbastanza sfiduciato dai molti
>> problemi che presenta btrfs.
> In particolare quale problema ti assilla?
>
sia troppo affidabile, nel senso che ci sono talmente tante
raccomandazioni che mi fa pensare di doverlo evitare. Ovviamente non
l'ho mai usato come si deve ne per tempi prolungati quindi non posso
giudicarlo realmente.
>> ZFS d'altra parte (se non sbaglio si trova in contrib) è di tutt'altra
>> pasta, funziona bene
> vedo che il marketing di Oracle funziona molto bene...
>
> sappi che btrfs è usato in ambito enterprise da aziende multinazionali.
> Se va bene per loro penso possa andare bene anche per te...
mio utilizzo. Non credo che quelli di SUSE si siano bevuti il cervello
usandolo come default. Sono in cerca di esperienze per non incappare in
problemi catastrofici. In VM tutto va sempre bene poi quando lo si usa
con dati veri iniziano le rogne. Leggendo su Reddit sembra che Oracle
stia spingendo anche btrfs perche nella loro versione di EL hanno
reintregrato il modulo e le util a differenza di rhel (e di centos,
almalinux e rockylinux) che lo hanno completamente tagliato fuori (sia
moduli che util).
>
> https://forum.armbian.com/topic/16285-why-i-prefer-zfs-over-btrfs/
>
> il discorso che fa il tipo nella prima risposta, che non è un fan btrfs
> ma neanche zfs anche se usa il secondo, è molto onesto...
>
>> ma (al di fuori della licenza) il sistema deve
>> compilare un modulo e ad ogni aggiornamento del kernel dkms deve
>> ricompilarlo e questo mi rende nervoso. Non vorrei che la compilazione con
>> dkms fallisse e il filesystem non più accessibile.
> welcome to the reality...
>
>> ZFS l'ho provato in
>> macchina virtuale con volumi in raid1, e a primo sguardo sembra
>> eccellente...l'unica cosa che mi lascia perplesso oltre a dkms è che durante
>> l'installazione viene mostrato una specie di disclaimer dove si dice che si
>> puo andare incontro a problemi legali per la licenza (sapete quali e in
>> quali casi ci si va incontro?). Se non ricordo male Ubuntu lo utilizza e
>> integra senza problemi.
> Ubuntu lo ha integrato non senza polemiche. Molti pensano che abbiano
> "interpretato" la licenza in modo "creativo". Ovvio(?) che Oracle non
> denuncerà mai Canonical ma non è questo il punto... qui siamo in Debian
> con una filosofia un "filino" diversa ... o no?
>
>> Ora avendo poca esperienza con tutti e due, qualcuno ha avuto a che fare con
>> questo tipo di filesystem? Avete incontrato particolari problemi? Ci sono
>> alternative valide?
> Io uso da tempo btrfs sia direttamente con Debian che indirettamente (Synology).
Ho letto di Synology e anche sul loro sito ne parlano.
>> ma (al di fuori della licenza) il sistema deve
>> compilare un modulo e ad ogni aggiornamento del kernel dkms deve
>> ricompilarlo e questo mi rende nervoso. Non vorrei che la compilazione con
>> dkms fallisse e il filesystem non più accessibile.
> welcome to the reality...
>
>> ZFS l'ho provato in
>> macchina virtuale con volumi in raid1, e a primo sguardo sembra
>> eccellente...l'unica cosa che mi lascia perplesso oltre a dkms è che durante
>> l'installazione viene mostrato una specie di disclaimer dove si dice che si
>> puo andare incontro a problemi legali per la licenza (sapete quali e in
>> quali casi ci si va incontro?). Se non ricordo male Ubuntu lo utilizza e
>> integra senza problemi.
> Ubuntu lo ha integrato non senza polemiche. Molti pensano che abbiano
> "interpretato" la licenza in modo "creativo". Ovvio(?) che Oracle non
> denuncerà mai Canonical ma non è questo il punto... qui siamo in Debian
> con una filosofia un "filino" diversa ... o no?
>
>> Ora avendo poca esperienza con tutti e due, qualcuno ha avuto a che fare con
>> questo tipo di filesystem? Avete incontrato particolari problemi? Ci sono
>> alternative valide?
> Io uso da tempo btrfs sia direttamente con Debian che indirettamente (Synology).
Ora vado un attimo off-topic: sulle distro rhel based ci sta anche il
VDO e i relativi tool. Praticamente aggiunge un layer per la
compressione e deduplicazione. La cosa che mi lascia un po perplesso è
che un volume vdo deve presentare una dimensione logica che il
filesystem (xfs) va ad usare. Quindi se un fs XFS risultasse usato al
100%, mentre sul volume magari siamo al 30%, bisogna aumentare la
logical size e fare un resize del filesystem per fargli avere più
spazio...cosi bisogna monitorare sia il filesystem classico sia il
volume vdo. Bo devo approfondire anche se ho visto che su debian non c'è
traccia di VDO. Ovviamente VDO non è un fs con cow, con integrity,
snapshot e varie.
Grazie per la risposta.
Alessadro Baggi
Oct 19, 2021, 6:20:03 AM10/19/21
to
Il 19/10/21 10:40, Bertorello, Marco ha scritto:
> Proxmox) e non posso dirne che bene. Mi ha risolto diversi problemi
> con le sue feature: sostituisce il RAID, prevede l'utilizzo della
> cache (ad es. io lo uso con una partizione di un disco SSD come cache
> per 2 dischi meccanici nell'equivalente di un RAID0, la replica su
> altri host configurati in maniera identica mi mette al riparo dalla
> rottura di un disco e questo setup mi da le performance che mi
> servono), ha le repliche, gli snapshot ecc.
>
> L'unico caso in cui mi ha dato grattacapi e' quando sopra ho voluto
> metterci docker, ma magari (probabilmente) ho sbagliato qualcosa io :)
>
Che problema ti ha dato con docker e come hai risolto?
Hai mai avuto problemi con la ricompilazione con dkms con gli
aggiornamenti del kernel?
> Su BTRFS purtroppo non ho mai avuto esperienze, ma mi sembra che sia
> una "bella promessa" da un po' troppo tempo ormai, senza mai essere
> adottato piu' di tanto.
Ecco, hai centrato il punto, è tanto tempo che è in giro ma i principali
problemi non sono ancora risolti...e andando avanti la cosa non migliora.
> Ciao,
>
Grazie per la risposta.
Marco Ciampa
Oct 19, 2021, 9:20:03 AM10/19/21
to
On Tue, Oct 19, 2021 at 12:08:05PM +0200, Alessadro Baggi wrote:
> Ora vado un attimo off-topic: sulle distro rhel based ci sta anche il VDO e
> i relativi tool.
Ogni giorno se ne impara una nuova... ;-)
> Ora vado un attimo off-topic: sulle distro rhel based ci sta anche il VDO e
> i relativi tool.
> Praticamente aggiunge un layer per la compressione e deduplicazione.
> La cosa che mi lascia un po perplesso è che un volume vdo
> deve presentare una dimensione logica che il filesystem (xfs) va ad usare.
> Quindi se un fs XFS risultasse usato al 100%, mentre sul volume magari siamo
> al 30%, bisogna aumentare la logical size e fare un resize del filesystem
> per fargli avere più spazio...
> cosi bisogna monitorare sia il filesystem
> classico sia il volume vdo.
> Bo devo approfondire anche se ho visto che su
> debian non c'è traccia di VDO.
> Ovviamente VDO non è un fs con cow, con integrity, snapshot e varie.
--
Saluton,
Marco Ciampa
0 new messages