Google Groups no longer supports new Usenet posts or subscriptions. Historical content remains viewable.
Dismiss

server x proxmox

124 views
Skip to first unread message

Piviul

unread,
Jan 13, 2021, 7:50:03 AM1/13/21
to
Ciao a tutti, vorrei acquistare un nuovo server per proxmox e mi
chiedevo se qualcuno aveva qualche suggerimento e soprattutto se fosse a
conoscenza di server senza il controller raid dal momento che proxmox
non lo utilizza... ma su questo la vedo piuttosto dura.

Per ora il mio ambiente proxmox è composto da 2 vecchi server HP
Proliant DL 380 acquistati usati per farmi un po' di ossa e per mostrare
le potenzialità della virtualizzazione ed in effetti tutto funziona bene
nonostante la vetustità; certo talvolta le repliche falliscono dando un
timeout error ma immagino sia per il fatto che l'hardware è un po'
obsoleto... altri problemi non ne ho avuti, certo non brillano in
velocità ma non mostrano nemmeno una eccessiva lentezza. Quindi ora
pensavo di aggiungere un nuovo nodo (magari uno all'anno per svecchiare
il cluster) con hardware più moderno per continuare la migrazione dei
vecchi server su proxmox.

Ogni consiglio è quindi ben accetto.

Inoltre volevo avere anche un vostro parere su un fornitore di hardware
trovato fra i partner proxmox:
https://www.thomas-krenn.com/en/products/application/virtualization/proxmox-overview.html;
potrebbe avere senso secondo voi invece di rivolgere lo sguardo ai
soliti noti produttori?

Grazie

Piviul

Luca

unread,
Jan 13, 2021, 8:10:04 AM1/13/21
to
hp proliant dl380 sono ancora prodotti o almeno la gen 10, io ho quella, ti consiglierei di acquistare uno storage tipo msa p2000 in modo che la migrazione delle vm sia solo a livello di hardware e non di disco....poi ti consiglio di dare un'occhiata ai container che è una nuova tecnologia che sta prendendo piede nella virtualizzazione

Piviul

unread,
Jan 13, 2021, 9:30:03 AM1/13/21
to

Ciao Luca e grazie: ho dimenticato di dire che i miei vecchi HP proliant DL 380 sono gen 8; in effetti mi sono trovato bene a parte il fatto che è un po' complicato disabilitare il controller raid e che fanno il boot soltanto se il controller è abilitato e quindi se lo si disabilita bisogna aggiungere un disco aggiuntivo di boot... grazie per il consiglio dei container in effetti li uso alla grande e mi trovo benissimo.

Per quanto riguarda lo storage avevo pensato di trasformare uno dei server virtualizzati in un iSCSI... anche se devo dire che qualche timore di performance ce l'ho... ma che voi sappiate si può aggiungere una cache SSD a volumi iSCSI?

Grazie ancora

Piviul

Il 13/01/21 14:03, Luca ha scritto:

Marco Ciampa

unread,
Jan 13, 2021, 11:00:03 AM1/13/21
to
On Wed, Jan 13, 2021 at 03:26:30PM +0100, Piviul wrote:
> Ciao Luca e grazie: ho dimenticato di dire che i miei vecchi HP proliant DL
> 380 sono gen 8; in effetti mi sono trovato bene a parte il fatto che è un
> po' complicato disabilitare il controller raid e che fanno il boot soltanto
> se il controller è abilitato e quindi se lo si disabilita bisogna aggiungere
> un disco aggiuntivo di boot... grazie per il consiglio dei container in
> effetti li uso alla grande e mi trovo benissimo.
>
> Per quanto riguarda lo storage avevo pensato di trasformare uno dei server
> virtualizzati in un iSCSI... anche se devo dire che qualche timore di
> performance ce l'ho... ma che voi sappiate si può aggiungere una cache SSD a
> volumi iSCSI?
>
> Grazie ancora
>
> Piviul

Non ho capito perché stai facendo questa fatica di disabilitare i
controller RAID HW che sono probabilmente la cosa più preziosa di questi
server... Piuttosto controlla che siano quelli veramente HW (non sw
simulati) e che abbiano la memoria cache tamponata altrimenti le
performance calano a picco e veramente ti conviene comperare altro o
comperare la cache tamponata.

--

Saluton,
Marco Ciampa

Piviul

unread,
Jan 13, 2021, 11:20:02 AM1/13/21
to

Il 13/01/21 16:52, Marco Ciampa ha scritto:
> Non ho capito perché stai facendo questa fatica di disabilitare i
> controller RAID HW che sono probabilmente la cosa più preziosa di questi
> server... Piuttosto controlla che siano quelli veramente HW (non sw
> simulati) e che abbiano la memoria cache tamponata altrimenti le
> performance calano a picco e veramente ti conviene comperare altro o
> comperare la cache tamponata.

perché AFAIK proxmox non vuole raid, la ridondanza se la gestisce da solo.

Piviul

Luca

unread,
Jan 13, 2021, 5:30:03 PM1/13/21
to
sinceramente non so se si possa !!!

Marco Gaiarin

unread,
Jan 13, 2021, 5:50:03 PM1/13/21
to
Mandi! Piviul
In chel di` si favelave...

> Ciao a tutti, vorrei acquistare un nuovo server per proxmox e mi
> chiedevo se qualcuno aveva qualche suggerimento e soprattutto se fosse a
> conoscenza di server senza il controller raid dal momento che proxmox
> non lo utilizza... ma su questo la vedo piuttosto dura.

Attenzione: non è Proxmox che 'non vuole' il RAID hardware, ma ZFS (o anche
Ceph, se vuoi). Che poi sono i filesystem preferenziali di Proxmox...


> Ogni consiglio è quindi ben accetto.

Allora, non ho idee chiarissime, ma:

a) ormai è vero che moltissimi fornitori NON forniscono controller che si
possono mettere in JBOD (disabilitare il RAID), e/o non forniscono slitte
vuote (per cui montare dischi strani è un delirio).
In particolare Dell (no per entrambi) e HP (JBOD si, ma slitte no)

b) il mio collega mi dice che Supermicro produce ottimi server che
rispettano i requisiti, ma hanno una politica di prezzo molto strana: se
prendi server enromi, sono molto convenienti; ma sui server 'piccoli' sono
fuori mercato.


Purtroppo per spendere poco ed avere tutto quello che vuoi, probabilmente
una via percorribile è quella dell'usato... o cercare un produttore di
nicchia, magari a partire proprio da quelli sugeriti da proxmox, ma che non
conosco.

--
Donna ti voglio cantare, donna sei luce, donna sei cenere
donnai sei ansia, donnai sei danza
e a volte nuvola sei... (A. Branduardi)

Nicola Ferrari (#554252)

unread,
Jan 14, 2021, 2:20:03 AM1/14/21
to
On 13/01/2021 23:20, Luca wrote:
> sinceramente non so se si possa !!!
>

fino ai Gen8 su proliant HP sicuramente puoi tranquillamente fare in
modo che il controller esponga i dischi come semplici JBOD.
(Parti con la chiavetta HP SmartStart e chiedi da lì la configurazione
dei dischi). Ho delle configurazioni così in casa.

Detto questo, io, se il controller RAID è tra quelli hardware 'veri'
(ossia la sigla inizia per P) e non un fake-raid (sigla B), io lo userei
eccome: non vanno affatto male.
i Bxxx invece fanno gestire il RAID al driver, che non è nemmeno nel
kernel debian, in quel caso conviene lasciar perdere.

bye,
Nick

--
+---------------------+
| Linux User #554252 |
+---------------------+

Marco Ciampa

unread,
Jan 14, 2021, 3:10:03 AM1/14/21
to
Sinceramente non so dove tu abbia letto questa cavolata:

https://pve.proxmox.com/wiki/Raid_controller

Prima riga:

A fast and reliable storage controller is one of the most important parts of a Proxmox VE server.

Non dico altro...

--

Saluton,
Marco Ciampa

Piviul

unread,
Jan 14, 2021, 4:50:02 AM1/14/21
to


Il 14/01/21 07:54, Nicola Ferrari (#554252) ha scritto:
On 13/01/2021 23:20, Luca wrote:
sinceramente non so se si possa !!!

fino ai Gen8 su proliant HP sicuramente puoi tranquillamente fare in
modo che il controller esponga i dischi come semplici JBOD.
(Parti con la chiavetta HP SmartStart e chiedi da lì la configurazione
dei dischi). Ho delle configurazioni così in casa.

si, infatti; io non ricordo molto bene ma all'avvio si può entrare nella console del raid e da lì poi si può configurare...


Detto questo, io, se il controller RAID è tra quelli hardware 'veri'
(ossia la sigla inizia per P) e non un fake-raid (sigla B), io lo userei
eccome: non vanno affatto male.
i Bxxx invece fanno gestire il RAID al driver, che non è nemmeno nel
kernel debian, in quel caso conviene lasciar perdere.

Andranno anche molto bene ma se nelle note di proxomox[¹] nell'installazione di ZFS e di Ceph mi dice di disabilitare il controller RAID io lo disabilito...

Piviul

[¹] https://www.proxmox.com/en/proxmox-ve/requirements

Piviul

unread,
Jan 14, 2021, 6:50:03 AM1/14/21
to
Il 14/01/21 09:07, Marco Ciampa ha scritto:
Sinceramente non so dove tu abbia letto questa cavolata:

https://pve.proxmox.com/wiki/Raid_controller

Prima riga: 

A fast and reliable storage controller is one of the most important parts of a Proxmox VE server.

Non dico altro...

beh, io sì ;) Come mi faceva notare Marco Gaiarin mi sono espresso male; non è proxmox che non vuole il raid ma ZFS e Ceph[¹]: "Neither ZFS nor Ceph are compatible with a hardware RAID controller."

Ed io uso proprio ZFS con cache...

Piviul

[¹] https://www.proxmox.com/en/proxmox-ve/requirements

Piviul

unread,
Jan 14, 2021, 12:20:03 PM1/14/21
to
Il 13/01/21 23:13, Marco Gaiarin ha scritto:
> a) ormai è vero che moltissimi fornitori NON forniscono controller che si
> possono mettere in JBOD (disabilitare il RAID), e/o non forniscono slitte
> vuote (per cui montare dischi strani è un delirio).
> In particolare Dell (no per entrambi) e HP (JBOD si, ma slitte no)

Cosa intendi con dischi strani? Poi un po' mi scoccia appunto acquistare
un server HP con un controller RAID piuttosto costosi e performanti per
poi disabilitarli. Per quello stavo chiedendo consigli per vedere se
qualcuno aveva trovato altre strade...


> b) il mio collega mi dice che Supermicro produce ottimi server che
> rispettano i requisiti, ma hanno una politica di prezzo molto strana: se
> prendi server enromi, sono molto convenienti; ma sui server 'piccoli' sono
> fuori mercato.

la ditta tedesca che avevo trovato fra i partner Proxmox[¹] utilizza
proprio server supermicro...


> Purtroppo per spendere poco ed avere tutto quello che vuoi, probabilmente
> una via percorribile è quella dell'usato... o cercare un produttore di
> nicchia, magari a partire proprio da quelli sugeriti da proxmox, ma che non
> conosco.

Devo dire che ultimamente acquisto molto hardware usato ma anche
nell'usato mi sembra il panorama sia sempre lo stesso a parte che si
spende un po' meno... nel senso che si tratta sempre di acquistare in
bundle sofisticatissimi controller RAID hardware per poi
disabilitarli... se ci si riesce! Comunque anche nei proliant di 10°
generazione il controller è disabilitabile?

Piviul

[¹]
https://www.thomas-krenn.com/en/products/application/virtualization/proxmox-overview.html

Marco Ciampa

unread,
Jan 16, 2021, 9:40:03 AM1/16/21
to
Interessante.

Scusa il tono mio offensivo, è la seconda volta che mi scuso su questa
lista.

Devo proprio imparare ad usare termini più rispettosi. A parziale
discolpa sono _molto_ stanco in questi giorni.

Direi che ZFS (che già non mi piaceva) e Ceph (le cui caratteristiche
sembrano difficilmente valutabili) si tagliano le gambe da soli.

In pratica tutto l'hardware professionale è basato su controller hw
locali o remoti, specialmente quelli su iSCSI, e su SAN.
Così si relega Proxmox all'hw "casalingo" e non professionale.

MAH!


--

Saluton,
Marco Ciampa

Marco Gaiarin

unread,
Jan 17, 2021, 5:50:03 PM1/17/21
to
Mandi! Marco Ciampa
In chel di` si favelave...

> In pratica tutto l'hardware professionale è basato su controller hw
> locali o remoti, specialmente quelli su iSCSI, e su SAN.
> Così si relega Proxmox all'hw "casalingo" e non professionale.

No, non è così semplice.

Da un lato il costo della RAM e la potenza dei processori rende ormai
inutile o quasi controller dedicati; dall'altro il RAID sta arrivando a fine
vita, nel senso che stiamo velocemente arrivando al punto in cui una
eventuale ricostruzione di un RAID guasto supera l'MTBF del disco che
aggiungi.

--
The number of UNIX installations has grown to 10, with more expected.
(_The UNIX Programmer's Manual_, Second Edition, June 1972)

Marco Gaiarin

unread,
Jan 17, 2021, 5:50:03 PM1/17/21
to
Mandi! Piviul
In chel di` si favelave...

> Cosa intendi con dischi strani?

Scusa, ho sbagliato, slitte strane.

Se compri un server HP 'nuovo' puoi mettere il controller in JBOD MA non
puoi comprare 'slitte vuote', solo i costosissimi dischi HP 'certificati'...


> nell'usato mi sembra il panorama sia sempre lo stesso a parte che si
> spende un po' meno... nel senso che si tratta sempre di acquistare in
> bundle sofisticatissimi controller RAID hardware per poi

Beh, certo, ma almeno trovi slitte vuote... ;-)


> disabilitarli... se ci si riesce! Comunque anche nei proliant di 10°
> generazione il controller è disabilitabile?

Si, dovrebbe essere così.

--
Le parti si impegnano [...] ad astenersi nelle relazioni internazionali
dalla minaccia o dall'uso della forza in ogni modo in contrasto con
gli scopi delle Nazioni Unite. (art.1 Trattato NATO)

Marco Ciampa

unread,
Jan 18, 2021, 4:00:03 AM1/18/21
to
On Sun, Jan 17, 2021 at 10:59:52PM +0100, Marco Gaiarin wrote:
> Mandi! Marco Ciampa
> In chel di` si favelave...
>
> > In pratica tutto l'hardware professionale è basato su controller hw
> > locali o remoti, specialmente quelli su iSCSI, e su SAN.
> > Così si relega Proxmox all'hw "casalingo" e non professionale.
>
> No, non è così semplice.
>
> Da un lato il costo della RAM e la potenza dei processori rende ormai
> inutile o quasi controller dedicati;

Su questo servirebbe qualche numero. Io anni fa avevo fatto qualche test.
Il problema non era la performance dei singoli controller ma la
scalabilità. Ovvero HW dedicato gestiva senza problemi diecine di dischi
contemporaneamente con performance lineari o quasi. Invece belle macchine
carrozzate, già con 6 dischi si "siedevano" completamente tanto che
aggiungere dischi _non_ migliorava minimamente le performance...

> dall'altro il RAID sta arrivando a fine
> vita, nel senso che stiamo velocemente arrivando al punto in cui una
> eventuale ricostruzione di un RAID guasto supera l'MTBF del disco che
> aggiungi.

Questo non lo capisco, o meglio non credo sia così.

Soprattutto il RAID protegge non solo dal guasto del singolo disco, che
succede, ma su dischi enterprise, ho ancora da vederne uno guasto, ma
soprattutto dalle perdite di dati su settori difettosi: senza RAID,
questi sono errori _non_ recuperabili.

Questo è il motivo per cui i filesystems nuovi come btrfs hanno il
checksum sui dati, ma comunque _non_ hanno l'Error Check & Recovery a
meno che, nuovamente, non si metta su un qualche tipo di RAID o ri
ridondanza.

Per cui il RAID, sw o hw che sia, su sistemi professionali, è
INDISPENSABILE. Tutti i sistemi professionali hanno ridondanze
distribuite: alimentatori doppi, RAM con ECC, e dischi RAID. E i dischi
RAID sono il minimo.

Ribadisco: i dischi _non_ garantiscono l'affidabilità sui dati, neanche
nel funzionamento normale! Lo standard SMART prevede che i dischi
_cerchino_ di ripristinare i dati, ma se non ci riescono, rimappano i
settori e li marcano temporaneamente come -bad- suggerendo che i dati
sono persi per sempre anche se il disco viene considerato da SMART come
"buono" e continua a funzionare perfettamente (perdendo dati) fino ad una
soglia predefinita di fabbrica (una certa percentuale) che, per quanto
piccola, su TB di dati, puoi immaginare che effetto disastroso puoi avere
per esempio su un database...

--

Saluton,
Marco Ciampa

Piviul

unread,
Jan 18, 2021, 7:10:03 AM1/18/21
to

Il 18/01/21 09:50, Marco Ciampa ha scritto:
> [...]
> Per cui il RAID, sw o hw che sia, su sistemi professionali, è
> INDISPENSABILE. Tutti i sistemi professionali hanno ridondanze
> distribuite: alimentatori doppi, RAM con ECC, e dischi RAID. E i dischi
> RAID sono il minimo.

Nessuno mette in discussione la necessità di avere un RAID, ZFS infatti
se lo gestisce via software e lo gestisce molto bene. File system di
rete, tipo ceph, anche loro gestiscono il raid software per la natura
stessa del tipo di filesystem. Dal punto di vista delle performance non
so darti un link ma ti posso assicurare che almeno per ZFS non si
trovano lamentele di lentezza per la mancanza della gestione software
del RAID; del resto per i filesystem di rete come dicevo il RAD hardware
perde proprio di senso... almeno credo :? Dal mio punto di vista invece
mi sembra incredibile come i produttori di hardware per server non
abbiano ancora capito che non sempre sono utili controller hardware su
server di fascia alta soprattutto se dedicati alla virtualizzazione.

Piviul

Marco Bertorello

unread,
Jan 18, 2021, 8:30:02 AM1/18/21
to
Ma il fatto che ci sia un controller *in grado di fare RAID*, non
implica per forza di cose il dover implementare un RAID in HW.
I controller dovrebbero poter anche gestire i dischi cosi' come sono e
presentarli al sistema operativo che poi potra' farci un po' quello che
vuole.

IMHO quello che si intende NON e' che ZFS e CEPH abbiano bisogno che NON
ci sia un controller HW, ma semplicemente che questo NON faccia RAID e
lasci implementare la cosa al FS.

My two cents.

--
Marco Bertorello
https://www.marcobertorello.it/

Piviul

unread,
Jan 18, 2021, 9:20:03 AM1/18/21
to

Il 18/01/21 14:29, Marco Bertorello ha scritto:
> IMHO quello che si intende NON e' che ZFS e CEPH abbiano bisogno che
> NON ci sia un controller HW, ma semplicemente che questo NON faccia
> RAID e lasci implementare la cosa al FS.

certo che è così ma tieni conto che non tutti i controller raid si
possono disabilitare e se il controller è abilitato non è nemmeno
possibile gestire un singolo disco senza inserirlo in un RAID.

Piviul

Marco Bertorello

unread,
Jan 18, 2021, 10:10:02 AM1/18/21
to

Il 18/01/2021 14:52, Piviul ha scritto:
> non è nemmeno possibile gestire un singolo disco senza inserirlo in un
> RAID.

Un disco singolo senza RAID e' praticamente un RAID0 con un solo device.

Marco Gaiarin

unread,
Jan 23, 2021, 6:00:03 PM1/23/21
to
Mandi! Marco Ciampa
In chel di` si favelave...

> Su questo servirebbe qualche numero.

No, non ne ho... sicuramnte hai ragione sulla scalabilità, ma credo anche
che passata una crta soglia diventi sensato passare a una SAN, o a un
cluster iperconvergente.


>> dall'altro il RAID sta arrivando a fine
> Questo non lo capisco, o meglio non credo sia così.

https://subscription.packtpub.com/book/virtualization_and_cloud/9781788391061/1/ch01lvl1sec5/raid-the-end-of-an-era

> Soprattutto il RAID protegge non solo dal guasto del singolo disco, che
> succede, ma su dischi enterprise, ho ancora da vederne uno guasto, ma
> soprattutto dalle perdite di dati su settori difettosi: senza RAID,
> questi sono errori _non_ recuperabili.

Lo 'scrub', si...


> Per cui il RAID, sw o hw che sia, su sistemi professionali, è
> INDISPENSABILE. Tutti i sistemi professionali hanno ridondanze
> distribuite: alimentatori doppi, RAM con ECC, e dischi RAID. E i dischi
> RAID sono il minimo.

La cosa carina di ceph (e nel piccolo, ZFS) è che sposti la ridondanza sulla
rete, più che sul sistema...

--
Son giunto alla conclusione che, almeno una volta nella vita, bisogna
usare Windows a fondo, perché è un'esperienza che rende uomini.
Almeno, io, dopo, ho sempre due palle così. (Leonardo Serni)

Marco Gaiarin

unread,
Jan 23, 2021, 6:00:04 PM1/23/21
to
Mandi! Piviul
In chel di` si favelave...

> certo che è così ma tieni conto che non tutti i controller raid si
> possono disabilitare e se il controller è abilitato non è nemmeno
> possibile gestire un singolo disco senza inserirlo in un RAID.

...e che se te lo vendono con la cache, ti perdi anche quella... ;-)

--
Uno dei più grossi problemi di questo paese è che la maggioranza delle
importazioni vengono dall'estero. (George W. Bush)
0 new messages