Proxmox - Condivisione cartelle su VM

[Diego Formica]

Ciao a tutti

Nei giorni scorsi mi sono deciso di effettuare un cambio alla mia configurazione del mio NAS.

In pratica ho installato proxmox, importato un pool ZFS e per finire ho creato una macchina virtuale con l'ultima versione di Open Media Vault.

Non è ancora un ambiente perfetto, devo ancora sistemare alcune cosette e appunto una di queste chiedo un vostro consiglio.

Ho difficoltà a far vedere il pool ZFS dentro la macchina virtuale. Qualche consiglio su come posso fare a gestire questa cosa ? Un amico mi ha  consigliato di montare le cartelle tramite NFS, che in questo caso lavorerebbero sullo stesso ferro.  

Come si gestiscono di solito queste cose nel mondo professionale ?

Se interessa la cosa possiamo organizzare per domani sera una bella chiacchierata che ne pensate ? Su questo argomento avrei mille domande visto che non sono un esperto ed è la prima volta che metto mano su proxmox.

Saluti

Diego.

[Emanuele VR]

21:30?

[Diego Formica]

Si dopo mi collego

[Zen Lab]

Ciao, cerca una delle innumerevoli guide su "ZSF passthrough into VM".

Lascia perdere idee tipo quella di montare i dischi con NFS.

Col ZFS passthrough vedi il pool ZFS come fisico sulla macchina virtuale.

Eventualmente riferisci la tua esperienza che serva come guida qui sul gruppo.

Ciao 

Tommaso 

--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "GULP" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a gulp+uns...@googlegroups.com.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/gulp/CAAaRXCWMtU%3DBCSZR4PgU13VWQppPy0QPmBeufT%3DjpreV%3DyVNYw%40mail.gmail.com.

[Diego Formica]

Ciao Tommaso,

Grazie mille, mi studio questa cosa e poi nei prossimi giorni vi aggiorno sugli miei progressi.

La mia esperienza è minima riguardo a Proxmox e Virtualizzazioni. In uno dei varie serate Smart avevo raccontato come qualche anno fa avevo assemblato un NAS casalingo a 8 baie scegliendo e assemblando ogni parte il tutto basato su Open Media Vault. Direi che è stata una bella esperienza.

Chiaramente con il tempo sono nate altre esigenze che mi hanno fatto installare dei Container per aggiungere funzionalità ma più passava il tempo e più mi sono reso conto che stavo facendo un uso improprio del mio NAS.

La cosa è decisamente migliorata adesso, e tutto è diventato più sensato. Proxmox è stato installato sul Server ( Adesso lo chiamo cosi ), con 2 nuovi dischi ho creato un pool ZFS  e poi ho creato una VM con OpenMediaVault

Ho sempre un mare di cose da imparare come ad esempio fare il ZSF passthrough ma piano piano imparo. :-)

Alla prossima serata Smart poi vi racconto tutti i dettagli

Saluti.

[Zen Lab]

Bene, sono contento di esserti stato utile ed averti dato spunto per qualcosa che accresca le conoscenze e le esperienze.

La condivisione di esperienze/a è alla base di Linux e dell'open source.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/gulp/f8315304-a881-40bc-9d3c-c095a0557e65n%40googlegroups.com.

[Davide Ceccherini]

Ma che HW usi come host? Io per serverino base casalingo NAS/Pihole uso raspberrypi 3, perche non necessita di ventola e consuma poco ...

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/gulp/f8315304-a881-40bc-9d3c-c095a0557e65n%40googlegroups.com.

[Diego Formica]

Ciao Davide

Ho costruito il server con quello che il mercato offriva circa 2 - 3 anni fa per avere appunto un basso consumo energetico. Ho preso una mobo Asrock con processore Intel Silver Lake 5040 che ha un TDP di 10W

Adesso ci sarebbero gli N100 e N200 che consumano 6W e sono molto più potenti della mia ma in ogni modo posso dire che  Proxmox e una VM girano abbastanza bene. Unico punto debole della mia attuale mobo è il limite degli 8Giga di ram che sono pochi da quando ho messo su il raid ZFS. Per adesso me la faccio bastare ma in futuro dovrò fare un upgrade sicuro.

Questo il link della mia mobo : https://www.amazon.it/dp/B08M9VVSB9

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/gulp/CAFDVJCMBfZcNRaDWNPKsWYKdfR_1x9TGcO%3DQ9m0GM5O03dntrA%40mail.gmail.com.

[Davide Ceccherini]

Tutto molto chiaro e logico, grazie. Io ho un notebook low cost con l'ultima generazione intel e devo dire che per uso "ufficio" vanno bene, in rapporto al consumo effettivamente irrisorio.

Ulteriore domanda, il raid ti è strettamente necessario per aumentare capacità, velocità di trasferimento o entrambe? Hehe. Chiedo perche secondo i miei personalissimi standard, quando parlo di raid non ci associo la parola casalingo! Hehe

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/gulp/CAAaRXCVSwsmAwowwNbbd0m3iPfdO2bV9%2BgjE1vEBRB7g5r3DrQ%40mail.gmail.com.

[Zen Lab]

Che io sappia il raid non incrementa le prestazioni, e addirittura diminuisce la capacità (raid 5 necessità di 3 dischi di stessa capacità per essere realizzato) ma è solo un'architettura che migliora enormemente la ridondanza e quindi il rischio di perdere dati.
Ma scusami, che c'entra il raid con un pool ZFS?...

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/gulp/CAFDVJCP-FUnM3otT2X04VLrar%2B2Uyr5v5jR22WoqXb-PfVOFew%40mail.gmail.com.

[Davide Ceccherini]

Il raid mirroring non aumenta le prestazioni, altre mode si, il 5 per esempio. Scusami non eri tu quello col Nas a 8 bays? Ho fatto confusione? Sorry.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/gulp/CAF50vKOP-fZ2fpCRYiXWedvMcv5McUC7RjFtgg4Djq5keFJEdg%40mail.gmail.com.

[Diego Formica]

Zen, si è un mio errore ... .continuo a chiamarlo Raid ma è un Pool ZFS attualmente composto da 2 dischi fisici in Mirroring. Anche la migrazione tra RAID Ext4 e ZFS è una delle novità apportate con questo ultimo upgrade.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/gulp/CAF50vKOP-fZ2fpCRYiXWedvMcv5McUC7RjFtgg4Djq5keFJEdg%40mail.gmail.com.

[Diego Formica]

Ciao Davide, il fatto che abbia utilizzato un Pool ZFS in mirroring su 2 dischi è più una scelta di sicurezza sui dati.  

A me va bene anche perdere spazio e velocità di trasferimento ma  voglio più sicurezza.

Chiaro che più ridondanza c'è ed in teoria c'è più sicurezza sui dati ma aimè quanto costano i dischi :-D
Viviamo in un modo digitale....... salvare documenti all'esterno si servizi 

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/gulp/CAFDVJCP-FUnM3otT2X04VLrar%2B2Uyr5v5jR22WoqXb-PfVOFew%40mail.gmail.com.

[Giovanni Mascellani]

Ciao,

Il 28/06/24 11:13, Zen Lab ha scritto:

> Che io sappia il raid non incrementa le prestazioni, e addirittura
> diminuisce la capacità (raid 5 necessità di 3 dischi di stessa capacità
> per essere realizzato) ma è solo un'architettura che migliora
> enormemente la ridondanza e quindi il rischio di perdere dati.

Personalmente sconsiglio di pensare il RAID come una soluzione per
proteggere i dati. Rischia di dare un falso senso di sicurezza e quindi
paradossalmente mettere a maggior rischio i dati da proteggere.

Ci sono alcune configurazioni RAID che effettivamente permettono in
alcune situazioni di sopportare la morte improvvisa di un hard disk
senza perdere dati; ma in molte altre situazioni il RAID non serve
proprio a niente. Per esempio:

* il RAID non mette al riparo da perdita di dati per ragioni diverse
dalla morte di un hard disk (per esempio "rm -fr" senza collegare le
dita al cervello; oppure attacco informatico, sia crypto locker che di
altro tipo; oppure un errore proprio nella configurazione del RAID,
soprattutto per chi lo fa occasionalmente e quindi magari in alcune
situazioni non capisce il problema e fa una mossa sbagliata, basta molto
poco);

* se il disco muore in seguito ad uno sbalzo di corrente, allagamento o
altra catastrofe, è probabile che colpirà tutti i dischi appartenti allo
stesso RAID contemporaneamente, dunque non si ha nessuna protezione in
più rispetto ad un solo disco;

* anche se il disco muore "di vecchiaia" è facile che gli altri dischi
sullo stesso RAID saranno altrettanto vecchi, dello stesso lotto ed
abbiano vissuto pattern di uso analoghi; per cui nel momento in cui
muore il primo è facile che gli altri siano lì lì; considerando che la
prima cosa che succede quando si rimpiazza un disco in un RAID è che i
dati devono essere sincronizzati a partire dagli altri dischi, che
quindi subiscono un forte e prolungato carico di lavoro, non è
impossibile che si finisca per dare loro il colpo di grazia proprio nel
momento peggiore;

* il RAID non protegge dal furto: l'eventuale ladro ruberà tutto il
sistema insieme.

Per tutte queste ragioni penso che chi si consola dicendo che i dati
sono in RAID quindi sono al sicuro sta solamente aspettando di imparare
la lezione nel modo più doloroso (ma anche convincente) che esista.

La vera soluzione per "dormire sonni tranquilli" non è il RAID, ma il
backup. Se fatto bene permette di arginare molto bene tutti i rischi
detti sopra. E anche se non fatto alla perfezione comunque ha secondo me
molti meno profili di rischio del semplice RAID.

Ovviamente non ha senso per un privato cittadino dimensionare il backup
come dovrebbe fare un'azienda strutturata, perché i profili di rischio
sono molto diversi. Però anche per un privato cittadino un minimo
organizzato ottenere, per esempio, una certa ridondanza geografica non
è difficilissimo, e dà una notevole protezione da quasi tutte le cose
scritte sopra. Io per esempio tengo un backup a casa e uno in ufficio:
è molto improbabile che contemporaneamente mi entrino in casa e in
ufficio la stessa notte; o che un fulmine frigga entrambi gli hard disk
durante lo stesso temporale. Se uno non può tenere un computer proprio
in ufficio può sempre chiedere ad un parente o amico di tenerlo in casa
sua, e ricambiare il favore offrendo a sua volta un "hosting" per il
backup del parente o amico.

Anche i servizi di storage online si possono considerare, ma normalmente
hanno un costo molto più alto di un hard disk e non hanno il supporto
per sneakernet: se devo effettivamente recuperare una
quantità sostanziale di dati da un backup remoto e "remoto" significa
sui server di AWS vuol dire che devo trasferire tutto via internet; se
è in ufficio vado semplicemente a prendere il disco in ufficio e lo
porto a casa, e tutto diventa molto più rapido perché non c'è passaggio
dalla rete pubblica.

In tutto ciò, a cosa serve quindi il RAID? Secondo me a poco, per un
privato cittadino. Il RAID ha più che altro senso quando bisogna offrire
delle garanzie di servizio (per esempio alta disponibilità, perché
quando si rimpiazza un disco il sistema nel frattempo può continuare a
lavorare quasi trasparentemente) oppure, se il sistema RAID è fatto
bene, per migliorare un po' la larghezza di banda di lettura. Tutto però
dipende dalla configurazione che si sceglie (RAID 0, 1, 5, 6 o altre più
esotiche).

Il punto è però che il RAID non rimpiazza il backup, ma va usato in
aggiunta. Per cui se è solo per dati personali io non credo che valga
veramente la pena. Se hai o vuoi comprare un disco in più usalo per fare
backup invece di RAID.

Mi è venuta corta, eh?!

A presto, Gio.

[Paolo Mascellani]

Ciao,

    il problema, secondo me, è quando si cerca "una" soluzione a
problemi complessi e variegati come la sicurezza dei dati, ma anche
riguardo alle prestazioni.

Può un RAID essere una parte della soluzione riguardo alle performance?
Sicuramente sì, se usato bene, in alcuni casi.

Può un RAID essere una parte della soluzione riguardo alla sicurezza dei
dati? Sicuramente sì, se usato bene, in alcuni casi.

Se invece si pensa di affidarsi a una soluzione unica per tutti i mali,
senza ragionare su vantaggi e svantaggi nella situazione specifica ...
poveri i nostri dati (e poveri noi)!

Paolo.

--
Paolo Mascellani
pa...@elabor.biz - +39 346 105 6258
eLabor sc - in...@elabor.biz - https://elabor.biz
via Enrico Fermi 19, 56126 - Pisa
https://linkedin.elabor.biz - https://youtube.elabor.biz

[Agata Minnocci]

Ciao a tutti,

mi intrometto nella discussione per chiedere una cosa che non ho mai veramente risolto nella mia gestione dei dati personali:

Il giorno venerdì 28 giugno 2024 alle 22:30:04 UTC+2 Giovanni Mascellani ha scritto:

La vera soluzione per "dormire sonni tranquilli" non è il RAID, ma il
backup. Se fatto bene permette di arginare molto bene tutti i rischi
detti sopra.

 

Io per esempio tengo un backup a casa e uno in ufficio.

Come si fa a fare "bene" un backup su disco? Ovvero, se io ho lo stesso backup su più dischi esterni (compresi file che non sono più sul computer principale) come faccio ad essere sicura che siano tutti sulla stessa versione di backup? Con i servizi online la cosa è gestita automaticamente ma se lo voglio fare io in locale esiste qualche sistema (mi immagino git-like o similare) che se ne occupi? Cosa usate?

Agata

[Matteo Bernardini]

ciao Agata!

io uso rsync e funzionalita' dei filesystem linux come gli hard-link (ext4 per esempio li permette) che mi danno la possibilita' di fare backup incrementali: un esempio di utilizzo e' descritto in questo blog

https://digitalis.io/blog/linux/incremental-backups-with-rsync-and-hard-links/

altri si trovano bene anche con rsnapshot ( https://rsnapshot.org )

altri ancora fanno i backup sul cloud con rclone ( https://rclone.org )

come dicono gli anglofoni, "your mileage may vary".

ti conviene pero' aprire un altro topic al riguardo... ;-)

Matteo

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "GULP" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a gulp+uns...@googlegroups.com.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/gulp/672bc234-c742-45b1-bc22-8397c4447027n%40googlegroups.com.

[alberto fiaschi]

Cosa intendi per lo stesso backup di su più dischi esterni? Immagino che tu abbia una gestione differenziale. Al di la del tool di backup utilizzato (bacula per es)   come storage  ti suggerisco un pool zfs su raid z2 spammato su almeno 4 dischi. Zfs ha molti vantaggi in abito backup in primis ha snapshot read only che danno una protezione in più e rispetto a malwer che potrebbe comprometterne la leggibilità. Ovviamente in caso di root escalation non hai garanzie perchè il malintenzionato può eseguire il comando di eliminazione snapshot o fare un bel cat /dev/uradom >/dev/pool  . Per proteggersi anche da questo caso dovresti tenere un hardisk esterno non in linea , da connettere al sistema ad hoc ed effettuarci periodicamente uno zfs send.

. Altro vantaggio di zfs è che supporta la deduplica (va attivata e devi avere molta ram per la cache degli indici delle hash dei blocchi), quindi per un repository di backup è estremamente efficiente. la deduplica ragionando su comparazioni di hash a livello di blocco è estremamente più efficiente rispetto ad un hardlink in cui l'unità minima è l'intero file.   Per esempio se  in un file di 10 giga sono stati modificati solo 2 blocchi quindi diciamo 40 K, ( non è detto zfs ha blocchi di dimensione variabile ,sta all'amministratore decidere la dimensione da settare in base all'hardware usato e alla tipologia di dati) copiando   la nuova versione del file avrai un incremento di occupazione del disco di poco più di 40K (per via dei metadati)

Buda

--

Hai ricevuto questo messaggio perché sei iscritto al gruppo "GULP" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a gulp+uns...@googlegroups.com.

Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/gulp/672bc234-c742-45b1-bc22-8397c4447027n%40googlegroups.com.

[Giovanni Mascellani]

Ciao Agata,

Il 02/07/24 11:25, Agata Minnocci ha scritto:

> Come si fa a fare "bene" un backup su disco? Ovvero, se io ho lo stesso
> backup su più dischi esterni (compresi file che non sono più sul
> computer principale) come faccio ad essere sicura che siano tutti sulla
> stessa versione di backup? Con i servizi online la cosa è gestita
> automaticamente ma se lo voglio fare io in locale esiste qualche sistema
> (mi immagino git-like o similare) che se ne occupi? Cosa usate?

Eh, bella domanda! :-)

La risposta è ovviamente piuttosto complessa, e dipende da vari fattori
che non conosco nel dettaglio nel tuo caso. Provo a darti qualche
coordinata:

* Come probabilmente hai già percepito, copiare i file a mano su dischi
esterni non funziona molto bene, perché rapidamente ti trovi nella
condizione di non sapere più che cosa è aggiornato e cosa no, e quindi
rischi ad un certo punto di sovrascrivere inconsapevolmente una cosa
nuova con una più vecchia e quindi perdere dati. Significa anche che non
puoi avvalerti di sistemi come la compressione e deduplicazione per
risparmiare spazio e non hai modo di sapere che cosa è veramente
backuppato e cosa no. È una soluzione rapida da usare e da alcuni punti
di vista è meglio di niente, ma rimane pratica solo in casi molto molto
semplici.

* Se un certo file è, come dici tu, nel disco di backup ma non è più sul
disco principale significa che il backup non è più un backup, ma
è diventato la copia primaria. Per cui in realtà non hai nessuna forma
di protezione. Una caratteristica essenziale dal backup è di essere una
(o più) copie _in aggiunta_ alla copia primaria che utilizzi direttamente.

* In un'altra risposta ti hanno suggerito rsync e rsnapshot (che
è sostanzialmente un frontend per rsync). Li ho utilizzati in passato e
sicuramente fanno il loro lavoro; hanno il vantaggio di essere piuttosto
semplici ed in particolare per accedere al backup non bisogna fare
niente di strano, perché il backup stesso è già un filesystem
organizzato così come il filesystem di cui viene fatto il backup.
D'altra parte per questa stessa ragione tendono anche ad essere un po'
più lenti e inefficienti: non supportano la compressione, non supportano
la crittografia, supportano la deduplicazione solo a livello di intero
file (per cui se hai un file da un gigabyte e ne cambi un singolo byte
la nuova copia del file richiederà un intero nuovo gigabyte nel
repository) e tipicamente possono essere un po' più lenti, in quanto i
filesystem spesso non sono ottimizzati per i pattern di accesso di un
backup fatto con rsync. Preciso che i miei backup tengono ad essere di
dimensioni che vanno dalle centinaia di gigabyte ai terabyte, per cui
forse un po' più grandi dell'utente medio, quindi magari per utenti meno
esigenti di me queste limitazioni non sono molto rilevanti.

* Un altro strumento che invece ho trovato molto più adatto a me (e tra
l'altro con un'ottima documentazione, ci ho imparato molte cose) è Borg
(https://www.borgbackup.org/). Ha un proprio formato di database, che
filosoficamente è come dici tu simile a git, anche se completamente
indipendente e incompatibile. In questo modo riesce ad essere molto
più efficiente sia come utilizzo del disco che come rapidità di
esecuzione del backup. È forse leggermente meno efficiente nel momento
in cui recuperi un file dal backup, ma non tantissimo, e comunque
recuperare un file dal backup è un'azione che spero ti capiti raramente.
Se invece devi recuperare (Dio non voglia!) tanti file, allora credo che
il costo si ammortizzi molto. In tutto ciò è forse un po' più complesso
da utilizzare, ma vedo che esistono anche delle interfacce grafiche
(tipo https://vorta.borgbase.com/) che non ho mai utilizzato, ma che
forse possono rendere lo strumento più accessibile a chi non si trova a
suo agio con la riga di comando (io uso direttamente Borg, con uno
script Python che mi sono fatto io per gestire in modo consistente
computer diversi). Personalmente consiglio di valutarlo a chiunque
voglia fare un piccolo investimento per trovare una soluzione
soddisfacente per fare il backup.

* Rimane poi la questione di cosa sottoporre a backup, e su che storage
fare il backup stesso. Sulla prima domanda io suggerisco di essere molto
generosi, e backuppare l'intero filesystem, non solamente la propria
cartella home o cartella dei documenti. A volte le informazioni
importanti possono essere in posti a cui all'inizio non si pensa.
Riguardo alla seconda domanda, qui bisogna vedere molto quanto sono
importanti i dati, quali sono le capacità tecniche di chi costruisce il
backup e quanto profonde sono le sue tasche. Partire con un disco
esterno dedicato (su cui si fa il backup sia dei propri computer, sia
degli altri dischi esterni che si possiedono) è già molto meglio di
niente. Fare il backup su due dischi esterni indipendenti ancora meglio.
Se poi uno di questi due viene tenuto in una località diversa (nel mio
caso in ufficio) e i dati sono trasferiti via internet ulteriormente
meglio. Poi alcuni tirano fuori la "regola 3-2-1" (che io non seguo,
almeno non alla lettera) e si può diventare sofisticati quanto si vuole.
Però, ritornando all'inizio, già fare un backup (però farlo
regolarmente!) su un disco esterno già fa dormire sonni molto più
tranquilli.

* È anche opportuno regolarmente controllare di essere in grado di
recuperare dati dal backup, per non scoprire che per una qualche ragione
non ci riesci proprio il giorno in cui ti serve.

Spero tutto questo ti aiuti, in bocca al lupo!

Giovanni.