Google Groups no longer supports new Usenet posts or subscriptions. Historical content remains viewable.
Dismiss
Fibre Channel
2 views
Skip to first unread message
Jan Novak
Feb 16, 2024, 12:39:30 PM2/16/24
to
Hallo,
ich habe hier 3 Proxmox Server mit jeweils unterschiedlichen Festplatten
und immer da noch Platz, wo ich ihn nicht brauche ;-)
Die Idee war daher, die Platten zu vereinen in ein eigenes "SAN".
Der 1 Gbit Ethernet Port für eine NVME wäre ein Flaschenhals.
Im Internet gibt es gebraucht sehr günstige einst teure Fibre Channel
Karten. Ich habe aber gelesen, dass diese Karten (hier: emulex) nicht
immer unter (Debian) Linux funktionieren, oder es zu anderen
(Installations-)Schwierigkeiten kommt.
Meine Frage: Lohnt sich der Aufwand dafür?
Ich dachte da aneinen der 3 Server, welcher auch Storage sein wird mit
einer dualen Karte und die anderen Beiden jeweils als Client ohne
Storage (ausser zum booten).
Jan
ich habe hier 3 Proxmox Server mit jeweils unterschiedlichen Festplatten
und immer da noch Platz, wo ich ihn nicht brauche ;-)
Die Idee war daher, die Platten zu vereinen in ein eigenes "SAN".
Der 1 Gbit Ethernet Port für eine NVME wäre ein Flaschenhals.
Im Internet gibt es gebraucht sehr günstige einst teure Fibre Channel
Karten. Ich habe aber gelesen, dass diese Karten (hier: emulex) nicht
immer unter (Debian) Linux funktionieren, oder es zu anderen
(Installations-)Schwierigkeiten kommt.
Meine Frage: Lohnt sich der Aufwand dafür?
Ich dachte da aneinen der 3 Server, welcher auch Storage sein wird mit
einer dualen Karte und die anderen Beiden jeweils als Client ohne
Storage (ausser zum booten).
Jan
Tim Ritberg
Feb 16, 2024, 1:56:57 PM2/16/24
to
Am 16.02.24 um 18:39 schrieb Jan Novak:
> Meine Frage: Lohnt sich der Aufwand dafür?
> Ich dachte da aneinen der 3 Server, welcher auch Storage sein wird mit
> einer dualen Karte und die anderen Beiden jeweils als Client ohne
> Storage (ausser zum booten).
10Gb-karten sind auch nicht teuer.
Tim
> Meine Frage: Lohnt sich der Aufwand dafür?
> Ich dachte da aneinen der 3 Server, welcher auch Storage sein wird mit
> einer dualen Karte und die anderen Beiden jeweils als Client ohne
> Storage (ausser zum booten).
Tim
Kay Martinen
Feb 16, 2024, 2:20:02 PM2/16/24
to
Am 16.02.24 um 18:39 schrieb Jan Novak:
> ich habe hier 3 Proxmox Server mit jeweils unterschiedlichen Festplatten
> und immer da noch Platz, wo ich ihn nicht brauche ;-)
Sind das die gleichen (Privaten) aus dem anderen Thread wo du von
> und immer da noch Platz, wo ich ihn nicht brauche ;-)
Cluster sprachst?
> Die Idee war daher, die Platten zu vereinen in ein eigenes "SAN".
VM-Storage virtuell/Zentral auslagern?
> Der 1 Gbit Ethernet Port für eine NVME wäre ein Flaschenhals.
Boot-Laufwerk. Ob es SAN-Lösungen mit NVME (für wenig Geld) und mehr als
nur 1-2 Slots gibt weiß ehrlich gesagt nicht. Aber, für nur eine NVME
macht das (SAN) m.e. keinen Sinn.
> Im Internet gibt es gebraucht sehr günstige einst teure Fibre Channel
> Karten. Ich habe aber gelesen, dass diese Karten (hier: emulex) nicht
> immer unter (Debian) Linux funktionieren, oder es zu anderen
> (Installations-)Schwierigkeiten kommt.
Gb/sek. eine übliche Stufe. Täte es alternativ nicht auch 2,5G Ethernet
oder 10 G wenn's nicht zu teuer wäre?
> Meine Frage: Lohnt sich der Aufwand dafür?
> Ich dachte da aneinen der 3 Server, welcher auch Storage sein wird mit
> einer dualen Karte und die anderen Beiden jeweils als Client ohne
> Storage (ausser zum booten).
laufen hast, dann kannst du doch Live-Migration zwischen den Nodes
nutzen. So weit die Theorie die ich dazu las. Da sollte es doch einfach
möglich sein dicke VMs auf einen anderen Node zu schieben auf dem genug
plattenplatz ist - und so deren Storage austarieren zu können. Damit
wäre kein SAN nötig.
Und unter einem SAN stelle ich mir eigentlich immer etwas Separates vor
- und nicht einen von 3 VM Hosts der dann für die anderen 2 auch noch
quasi Fileserver spielt. Oder meinswegen Storage-host auf Blockebene
z.b. iSCSI o.a.
Jedenfalls würde ich annehmen das ein PVE Node der Plattenplatz teilen
soll und zugleich auch noch VMs ausführt dadurch doppelt belastet wird.
Denn zu den Zugriffen der Lokalen VMs auf die Lokalen Blockgeräte (was
ja auch ZFS, Ceph o.a. sein kann) kommen dann noch die Zugriffe der VMs
von 2 anderen Nodes dazu. Wenn du deren Plattenimage auf einem Node
speicherst müssen die für JEDEN einzelnen Zugriff übers LAN gehen.
Sprich: Dein Storage-PVE wird langsamer werden. Wie viel kann ich nicht
sagen. Hat das schon jemand probiert?
Ich hatte eine Zeit lang zwei PVE nebeneinander laufen aber als Single
Nodes und beide haben Ihre Snapshots/Backups per LAN/nfs auf einen
dritten gemacht der aber NUR Fileserver war. Und ich habe; außer den
HW-gegebenen; keine Einschränkungen bemerkt. Was zum teil einfach an
unterschiedlichen Zeiten für das Backup liegt.
Cluster habe ich aus Gründen nicht eingerichtet. Das Verschieben einer
VM war dennoch möglich. Man mußte dazu nur z.b. die VM100 stoppen, ein
Komplettes Backup davon auf den Server schieben und konnte auf dem 2.
PVE das Backup der VM100 zurück spielen, und IMO auch die VMID ändern
falls sie sich mit einer vergebenen beißt.
Aber das kann man ja mit einer einfachen Tabelle und selbst bestimmten
Nummernkreisen umgehen. Ich nutze da 1xx für Infrastruktur, 2xx für
kleine Linux Dienste, 5xx für Retro-Sachen u.s.w.
Bye/
/Kay
--
nix
Jan Novak
Feb 17, 2024, 5:17:23 AM2/17/24
to
Am 16.02.24 um 20:11 schrieb Kay Martinen:
>
>> Die Idee war daher, die Platten zu vereinen in ein eigenes "SAN".
>
> Willst du jedem PVE Node nur ein Boot-Laufwerk lokal belassen und den
> VM-Storage virtuell/Zentral auslagern?
>
auch korrekt
>> Der 1 Gbit Ethernet Port für eine NVME wäre ein Flaschenhals.
>
> Wäre das; von der gegebenen HW Abhängig; nicht eher was fürs Lokale
> Boot-Laufwerk. Ob es SAN-Lösungen mit NVME (für wenig Geld) und mehr als
> nur 1-2 Slots gibt weiß ehrlich gesagt nicht. Aber, für nur eine NVME
> macht das (SAN) m.e. keinen Sinn.
Naja... SAN klang so überdimensioniert. Einer der Server hat Platz für
10 3,5" Platten. Da würde ich alles einbauen und er wäre Server und
"SAN" für die anderen beiden (so die Idee)
> Dazu muß jemand anderes was sagen. AFAIR ist bei FC aber ca 2 oder 4
> Gb/sek. eine übliche Stufe. Täte es alternativ nicht auch 2,5G Ethernet
> oder 10 G wenn's nicht zu teuer wäre?
10G Ethernet ist schon arg teuer, von den passenden Switchen noch gar
nicht gerechnet.
> Was ich hier nicht verstehe: Wenn du diese 3 PVE Nodes in einem Cluster
> laufen hast, dann kannst du doch Live-Migration zwischen den Nodes
> nutzen. So weit die Theorie die ich dazu las. Da sollte es doch einfach
> möglich sein dicke VMs auf einen anderen Node zu schieben auf dem genug
> plattenplatz ist - und so deren Storage austarieren zu können. Damit
> wäre kein SAN nötig.
DU hast recht, das ist alles möglich. Dennoch muss ich ständig hin und
her replizieren um Sicherungen zu haben. Dann ist auf dem einen zu wenig
Platz, auf dem anderen ist noch Platz (die VM's sind teilweise recht
groß, mehrere 2,5TB und eine sogar 4 TB).
> Und unter einem SAN stelle ich mir eigentlich immer etwas Separates vor
> - und nicht einen von 3 VM Hosts der dann für die anderen 2 auch noch
> quasi Fileserver spielt. Oder meinswegen Storage-host auf Blockebene
> z.b. iSCSI o.a.
So war aber meine Idee, um nicht auch noch eine Gehäuse mit CPU/... für
das SAN zu haben, was dann "nur" SAN ist.
"großen" Speicher für mich.
> Cluster habe ich aus Gründen nicht eingerichtet. Das Verschieben einer
> VM war dennoch möglich. Man mußte dazu nur z.b. die VM100 stoppen, ein
> Komplettes Backup davon auf den Server schieben und konnte auf dem 2.
> PVE das Backup der VM100 zurück spielen, und IMO auch die VMID ändern
> falls sie sich mit einer vergebenen beißt.
Soweit klar. Im Cluster ist halt die Replikation eine feine Sache und
auf dem Ziel kannst du sofort die replizierte Maschine starten.
Jan
>> ich habe hier 3 Proxmox Server mit jeweils unterschiedlichen
>> Festplatten und immer da noch Platz, wo ich ihn nicht brauche ;-)
>
> Sind das die gleichen (Privaten) aus dem anderen Thread wo du von
> Cluster sprachst?
Korrekt
>> Festplatten und immer da noch Platz, wo ich ihn nicht brauche ;-)
>
> Sind das die gleichen (Privaten) aus dem anderen Thread wo du von
> Cluster sprachst?
>
>> Die Idee war daher, die Platten zu vereinen in ein eigenes "SAN".
>
> Willst du jedem PVE Node nur ein Boot-Laufwerk lokal belassen und den
> VM-Storage virtuell/Zentral auslagern?
>
>> Der 1 Gbit Ethernet Port für eine NVME wäre ein Flaschenhals.
>
> Wäre das; von der gegebenen HW Abhängig; nicht eher was fürs Lokale
> Boot-Laufwerk. Ob es SAN-Lösungen mit NVME (für wenig Geld) und mehr als
> nur 1-2 Slots gibt weiß ehrlich gesagt nicht. Aber, für nur eine NVME
> macht das (SAN) m.e. keinen Sinn.
10 3,5" Platten. Da würde ich alles einbauen und er wäre Server und
"SAN" für die anderen beiden (so die Idee)
> Dazu muß jemand anderes was sagen. AFAIR ist bei FC aber ca 2 oder 4
> Gb/sek. eine übliche Stufe. Täte es alternativ nicht auch 2,5G Ethernet
> oder 10 G wenn's nicht zu teuer wäre?
nicht gerechnet.
> Was ich hier nicht verstehe: Wenn du diese 3 PVE Nodes in einem Cluster
> laufen hast, dann kannst du doch Live-Migration zwischen den Nodes
> nutzen. So weit die Theorie die ich dazu las. Da sollte es doch einfach
> möglich sein dicke VMs auf einen anderen Node zu schieben auf dem genug
> plattenplatz ist - und so deren Storage austarieren zu können. Damit
> wäre kein SAN nötig.
her replizieren um Sicherungen zu haben. Dann ist auf dem einen zu wenig
Platz, auf dem anderen ist noch Platz (die VM's sind teilweise recht
groß, mehrere 2,5TB und eine sogar 4 TB).
> Und unter einem SAN stelle ich mir eigentlich immer etwas Separates vor
> - und nicht einen von 3 VM Hosts der dann für die anderen 2 auch noch
> quasi Fileserver spielt. Oder meinswegen Storage-host auf Blockebene
> z.b. iSCSI o.a.
das SAN zu haben, was dann "nur" SAN ist.
> Sprich: Dein Storage-PVE wird langsamer werden. Wie viel kann ich nicht
> sagen. Hat das schon jemand probiert?
das wird wohl so sein... dennoch überwiegen die Vorteile mit dem
> sagen. Hat das schon jemand probiert?
"großen" Speicher für mich.
> Cluster habe ich aus Gründen nicht eingerichtet. Das Verschieben einer
> VM war dennoch möglich. Man mußte dazu nur z.b. die VM100 stoppen, ein
> Komplettes Backup davon auf den Server schieben und konnte auf dem 2.
> PVE das Backup der VM100 zurück spielen, und IMO auch die VMID ändern
> falls sie sich mit einer vergebenen beißt.
auf dem Ziel kannst du sofort die replizierte Maschine starten.
Jan
Alexander Schreiber
Feb 18, 2024, 11:08:04 AM2/18/24
to
Jan Novak <rep...@gmail.com> wrote:
> Hallo,
>
> ich habe hier 3 Proxmox Server mit jeweils unterschiedlichen Festplatten
> und immer da noch Platz, wo ich ihn nicht brauche ;-)
> Die Idee war daher, die Platten zu vereinen in ein eigenes "SAN".
>
> Der 1 Gbit Ethernet Port für eine NVME wäre ein Flaschenhals.
>
> Im Internet gibt es gebraucht sehr günstige einst teure Fibre Channel
> Karten. Ich habe aber gelesen, dass diese Karten (hier: emulex) nicht
> immer unter (Debian) Linux funktionieren, oder es zu anderen
> (Installations-)Schwierigkeiten kommt.
>
> Meine Frage: Lohnt sich der Aufwand dafür?
Nein. Heutzutage privat Fibre Channel zu verbauen ist OK, wenn das als
> Hallo,
>
> ich habe hier 3 Proxmox Server mit jeweils unterschiedlichen Festplatten
> und immer da noch Platz, wo ich ihn nicht brauche ;-)
> Die Idee war daher, die Platten zu vereinen in ein eigenes "SAN".
>
> Der 1 Gbit Ethernet Port für eine NVME wäre ein Flaschenhals.
>
> Im Internet gibt es gebraucht sehr günstige einst teure Fibre Channel
> Karten. Ich habe aber gelesen, dass diese Karten (hier: emulex) nicht
> immer unter (Debian) Linux funktionieren, oder es zu anderen
> (Installations-)Schwierigkeiten kommt.
>
> Meine Frage: Lohnt sich der Aufwand dafür?
"Hobby mit historischer/exotischer Hardware" gedacht ist, ansonsten
ist es den Aufwand/Stress nicht wert.
Für Deinen Einsatzzweck würde ich zu 10 GBit/s NICs raten, die sind
mittlerweile relativ preiswert und die Switche ebenfalls. Dabei unbedingt
darauf achten, das die geräteseitige Schnittstelle _nicht_ RJ45/Ethernet
ist sondern SFP+ - dann kann man die Verbindung nämlich sinnvollerweise
mit Glas oder DAC machen. Ethernet ist für 10G eine ziemliche Schnapsidee.
Man liest sich,
Alex.
--
"Opportunity is missed by most people because it is dressed in overalls and
looks like work." -- Thomas A. Edison
Kay Martinen
Feb 18, 2024, 12:40:02 PM2/18/24
to
Am 18.02.24 um 16:39 schrieb Alexander Schreiber:
> Jan Novak <rep...@gmail.com> wrote:
>> Hallo,
>>
>> ich habe hier 3 Proxmox Server mit jeweils unterschiedlichen Festplatten
>> und immer da noch Platz, wo ich ihn nicht brauche ;-)
>> Die Idee war daher, die Platten zu vereinen in ein eigenes "SAN".
>>
>> Der 1 Gbit Ethernet Port für eine NVME wäre ein Flaschenhals.
>>
>> Im Internet gibt es gebraucht sehr günstige einst teure Fibre Channel
>> Karten. Ich habe aber gelesen, dass diese Karten (hier: emulex) nicht
>> immer unter (Debian) Linux funktionieren, oder es zu anderen
>> (Installations-)Schwierigkeiten kommt.
>>
>> Meine Frage: Lohnt sich der Aufwand dafür?
>
> Nein. Heutzutage privat Fibre Channel zu verbauen ist OK, wenn das als
> "Hobby mit historischer/exotischer Hardware" gedacht ist, ansonsten
> ist es den Aufwand/Stress nicht wert.
Z.b. Mit Plattenarrays in denen die Platten selbst schon direkt einen FC
>> Hallo,
>>
>> ich habe hier 3 Proxmox Server mit jeweils unterschiedlichen Festplatten
>> und immer da noch Platz, wo ich ihn nicht brauche ;-)
>> Die Idee war daher, die Platten zu vereinen in ein eigenes "SAN".
>>
>> Der 1 Gbit Ethernet Port für eine NVME wäre ein Flaschenhals.
>>
>> Im Internet gibt es gebraucht sehr günstige einst teure Fibre Channel
>> Karten. Ich habe aber gelesen, dass diese Karten (hier: emulex) nicht
>> immer unter (Debian) Linux funktionieren, oder es zu anderen
>> (Installations-)Schwierigkeiten kommt.
>>
>> Meine Frage: Lohnt sich der Aufwand dafür?
>
> Nein. Heutzutage privat Fibre Channel zu verbauen ist OK, wenn das als
> "Hobby mit historischer/exotischer Hardware" gedacht ist, ansonsten
> ist es den Aufwand/Stress nicht wert.
Anschluß haben? Ich hab so was mal bei einem Serverteile hökerer gesehen
und mich gewundert. Ist dann wohl definitiv SAN mit eigenem Controller
u.s.w.
> Für Deinen Einsatzzweck würde ich zu 10 GBit/s NICs raten, die sind
> mittlerweile relativ preiswert und die Switche ebenfalls. Dabei unbedingt
> darauf achten, das die geräteseitige Schnittstelle _nicht_ RJ45/Ethernet
> ist sondern SFP+ - dann kann man die Verbindung nämlich sinnvollerweise
10G Module braucht - Pro Port zwei Stück. Hieße aber auch: Man könnte
ebenso mit 1G Modulen anfangen und später upgraden.
> mit Glas oder DAC machen. Ethernet ist für 10G eine ziemliche Schnapsidee.
Kupferkabel. Läuft darüber etwa kein Ethernet.
Frage für einen Freund. :-) Ich hab so was nicht.
Bye/
/Kay
--
nix
Peter J. Holzer
Feb 18, 2024, 5:40:09 PM2/18/24
to
On 2024-02-18 17:29, Kay Martinen <use...@martinen.de> wrote:
> Am 18.02.24 um 16:39 schrieb Alexander Schreiber:
> Am 18.02.24 um 16:39 schrieb Alexander Schreiber:
>> mit Glas oder DAC machen. Ethernet ist für 10G eine ziemliche Schnapsidee.
> Ich dachte DAC Steht für Direct Access Cable - und damit für
> Kupferkabel. Läuft darüber etwa kein Ethernet.
Ethernet läuft da auf jeden Fall. Egal, ob über Kupfer oder Glas.
> Ich dachte DAC Steht für Direct Access Cable - und damit für
> Kupferkabel. Läuft darüber etwa kein Ethernet.
Alexander meinte mit "Ethernet" wohl 10GBASE-T.
hp
0 new messages