PVE 6 zfs und "special device" oder lvm(thin)?

[Kay Martinen]

Hallo

Ich hab meinem Proxmox VE 6 jetzt zu den 146 GB SAS Disks im RAID 1 noch
2 600 GB SAS Disks hinzu gefügt. Aktuell erst mal auch als HW-Raid 1
über den P400i Controller im Proliant DL 360 G5

Dann überlege ich aber ob es sinn machte die neuen Disks statt ext4 und
LVM direkt mit zfs zu betreiben.

Die Warnung im Wiki das nicht mit HW-Raid zu benutzen las ich, weiß aber
jetzt nicht wie ich das bewerten soll. Ich könnte die beiden 600 GB
disks im Kontroller als einzelen Raid 0 einrichten und gehe davon aus
das ich sie im Proxmox dann als sdb und sdc sehe die ich dann in der zfs
konfig verwende. Aber, reicht das so schon aus? Ist das der direkte
Zugriff den zfs haben will?

Dann las ich von einem dedicated device das z.b. auch deduplikation
ermöglicht. Aber nicht wie das sinnvoll implementiert wird. Ist das
evtl. der einsatzzweck für eine SSD die ja auch noch als cache unter zfs
dienen könnte? Geht auch beides, cache und deduplikation?

In der PVE UI finde ich in der Übersicht einen KSM Wert (kernel same
page, Merging) der oft sehr gering ist. Obwohl ich mehrere gleichartige
VMs benutze. Ist da eine verbesserung zu erwarten?

Außerdem sehe ich da einen kleinen Zielkonflikt beim RAM. Lt. dem Wiki
braucht zfs mindesten 8 GB oder 2 Gib base plus 1 Gib pro Tib Speicher.
Bei 600 GB oder Gib wären das also 2,5 oder ca. 3 GB minimum (wenn ich
annehme das zwei separate disks für zfs auch zwei mal zählen).

Der Server hat aber nur 32 GB RAM und wenn da jetzt 3 GB für das
filesystem abgehen, oder gar doch 8 GB dann fehlt mir der Platz am Ende
für laufende VMs. Und RAM kann man m.W. nicht oder schlecht überbuchen.

Dann habe ich in meiner aktuellen grundkonfig einen lvm storage und
einen lvm-thin pool. Und wenn ich das richtig sehe ist eine VM die z.b.
4 GB disksize hat auf dem lvm auch immer 4 GB groß, auf dem lvm-thin
aber nur so groß wie ihr derzeit belegter platz.

Die neuen platten habe ich als lvm volumegroup VM angelegt weil ich
vorher nicht dran dachte. :-/ So einen "großen" speicher als thinpool an
zu legen fände ich interessant. Allerdings sah ich bei kopier- und
backup-tasks gelegentlich meldungen die drauf hindeuten das eine
Funktion zur Warnung vor überbuchung des thinpools nicht aktiv ist.

Ich finde nur leider keine Möglichkeit das evtl. automatisch zyklisch
checken zu lassen und ggf. per mail eine Warnung zu schicken. Weiß dazu
jemand was?




Kay

--
Posted via leafnode

[Sven Hartge]

Kay Martinen <use...@martinen.de> wrote:

> Die Warnung im Wiki das nicht mit HW-Raid zu benutzen las ich, weiß
> aber jetzt nicht wie ich das bewerten soll. Ich könnte die beiden 600
> GB disks im Kontroller als einzelen Raid 0 einrichten und gehe davon
> aus das ich sie im Proxmox dann als sdb und sdc sehe die ich dann in
> der zfs konfig verwende. Aber, reicht das so schon aus? Ist das der
> direkte Zugriff den zfs haben will?

Das sollte reichen. Schau, dass du so wenig wie möglich im Controller
für die Disks machst, also alle Caches etc. abschalten, sofern der
Controller dieses hat.

> Dann las ich von einem dedicated device das z.b. auch deduplikation
> ermöglicht. Aber nicht wie das sinnvoll implementiert wird. Ist das
> evtl. der einsatzzweck für eine SSD die ja auch noch als cache unter
> zfs dienen könnte? Geht auch beides, cache und deduplikation?

Dedupe unter ZFS ist eines der Features, die nett klingen, aber nicht
wirklich nutzbar sind, wenn man nicht obzöne Mengen an RAM hat. Damit
Dedupe sinnvoll performt wird 5GB pro TB an dedupliziertem Volume
empfohlen.

> In der PVE UI finde ich in der Übersicht einen KSM Wert (kernel same
> page, Merging) der oft sehr gering ist. Obwohl ich mehrere
> gleichartige VMs benutze. Ist da eine verbesserung zu erwarten?

Das hat mit ZFS nichts zu tun.

Was hier dir (u.a.) den Kuchen versalzt sind Features wie z.B. kASLR,
was dann eben dazu führt, dass gleichartige VMs nicht mehr wirklich
gleichartig sind.

> Außerdem sehe ich da einen kleinen Zielkonflikt beim RAM. Lt. dem Wiki
> braucht zfs mindesten 8 GB oder 2 Gib base plus 1 Gib pro Tib Speicher.
> Bei 600 GB oder Gib wären das also 2,5 oder ca. 3 GB minimum (wenn ich
> annehme das zwei separate disks für zfs auch zwei mal zählen).

Nein, was hier zählt ist der Speicher, der sich *nach* dem gewählten
RAID-Modus ergibt.

S°

--
Sigmentation fault. Core dumped.