Agregacja 2 karty Intela i switch Cisco SG300

[Therminus]

Mam serwer (Slackware x64 current) a w nim 2 karty sieciowe Intela. Serwer
łączy się ze switchem Cisco "SG300-28 28-Port Gigabit Managed Switch".
Pomyślałem, że zrobię agregację portów i te dwie karty Intela co je mam w
serwerze, połączę z dwoma portami w switchu, aby uzyskać przepustowość 2Gb.
Niestety, coś mi nie poszło.
Oto moja konfiguracja na Linuksie:
Plik rc.bond

#!/bin/sh
# rc.bond
case "$1" in
'start')
echo "start bond0"
modprobe bonding mode=4 miimon=100 lacp_rate=1
modprobe e1000e
ifconfig bond0 up
ifconfig bond0 192.168.0.1 netmask 255.255.255.0
ifenslave bond0 eth0
ifenslave bond0 eth1
#TODO need to be changed
ifconfig bond0 hw ether 00:16:3e:aa:aa:aa
route add default gw 192.168.0.253 metric 1 bond0
;;
'stop')
ifconfig bond0 down
rmmod bonding
rmmod e1000e
;;
*)
echo "Usage: $0 {start|stop}"
;;
esac
#EOF


polecenie
cat /proc/net/bonding/bond0

zwraca
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 200
Down Delay (ms): 200

802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
System MAC address: 00:15:17:89:eb:14
Active Aggregator Info:
Aggregator ID: 1
Number of ports: 1
Actor Key: 9
Partner Key: 1
Partner Mac Address: 00:00:00:00:00:00

Slave Interface: eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:89:eb:14
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: churned
Actor Churned Count: 0
Partner Churned Count: 1
details actor lacp pdu:
system priority: 65535
system mac address: 00:15:17:89:eb:14
port key: 9
port priority: 255
port number: 1
port state: 79
details partner lacp pdu:
system priority: 65535
system mac address: 00:00:00:00:00:00
oper key: 1
port priority: 255
port number: 1
port state: 1

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:89:eb:15
Slave queue ID: 0
Aggregator ID: 2
Actor Churn State: churned
Partner Churn State: churned
Actor Churned Count: 1
Partner Churned Count: 1
details actor lacp pdu:
system priority: 65535
system mac address: 00:15:17:89:eb:14
port key: 9
port priority: 255
port number: 2
port state: 71
details partner lacp pdu:
system priority: 65535
system mac address: 00:00:00:00:00:00
oper key: 1
port priority: 255
port number: 1
port state: 1

Kilka rzeczy mi nie pasuje:
1) Jak widać liczba portów jest 1, a nie 2.
2) Nie pobiera adresu MAC ze switcha.
3) System MAC address: 00:15:17:89:eb:14 to jest adres karty sieciowej eth0

Oczywiście połączenia gigabitowe pomiędzy kartami a switchem są. Co może być
nie tak?
I jeszcze taka ciekawostka: jak ustawię bonding mode=0, to iptraf pokazuje
mi że obie karty są obciążone transferem prawie po równo, a na interfejsie
bond0 jest suma transferów z kart. Wynika z tego, że karty działają
prawidłowo. Ale przecież nie o taki tryb bonding mi chodzi.

I jeszcze jedno:
ifenslave uzyskałem przetwarzając pakiet ifenslave-2.6_1.1.0-20_amd64.deb na
TGZ
Może tu jest problem?

[Jacek Peczyński]

Dnia 27.02.2017 Therminus <cysorz_to_ma...@gazeta.pl> napisał/a:
> Mam serwer (Slackware x64 current) a w nim 2 karty sieciowe Intela. Serwer
> łączy się ze switchem Cisco "SG300-28 28-Port Gigabit Managed Switch".

Pokaż konfigurację tego switcha.

> #!/bin/sh
> # rc.bond
> case "$1" in
> 'start')
> echo "start bond0"
> modprobe bonding mode=4 miimon=100 lacp_rate=1

Spróbuj mode=802.3ad, niby jest to samo, ale kto wie...

> Kilka rzeczy mi nie pasuje:
> 1) Jak widać liczba portów jest 1, a nie 2.
> 2) Nie pobiera adresu MAC ze switcha.
> 3) System MAC address: 00:15:17:89:eb:14 to jest adres karty sieciowej eth0

Wygląda mi na to, że switch nie negocjuje LACP.

> Oczywiście połączenia gigabitowe pomiędzy kartami a switchem są. Co może być
> nie tak?
> I jeszcze taka ciekawostka: jak ustawię bonding mode=0, to iptraf pokazuje
> mi że obie karty są obciążone transferem prawie po równo, a na interfejsie
> bond0 jest suma transferów z kart. Wynika z tego, że karty działają
> prawidłowo. Ale przecież nie o taki tryb bonding mi chodzi.
>
> I jeszcze jedno:
> ifenslave uzyskałem przetwarzając pakiet ifenslave-2.6_1.1.0-20_amd64.deb na
> TGZ
> Może tu jest problem?

Teoretycznie nie powinno być z tym problemu. Spróbuj zamiast ifenslave
użyć "ip link set eth0 master bond0". iproute2 powinno być w Slackware.

Pozdrawiam.
j.p.
--
Jacek Peczyński. gg:4389139 j.peczynskiATgmailDOTcom
Windows 2003 .NET Server "umiejętnie wykorzystany"* jest stabilny.
* czyli wyłączony

[Jan Stożek]

Po głębokim namyśle Therminus napisał w Monday 27 of February 2017
19:58:

> 2) Nie pobiera adresu MAC ze switcha.

A port switcha w ogóle ma adres MAC?

--
Pozdrawiam,

(js).

PS. Odpowiadając bezpośrednio proszę usunąć minus wraz ze wszystkimi
kolejnymi literami.

[Olek]

W dniu 06.03.2017 o 08:02, Jan Stożek pisze:

>> 2) Nie pobiera adresu MAC ze switcha.
>
> A port switcha w ogóle ma adres MAC?

Jak byś chciał zarządzać switchem bez adresu MAC?
--
Olek

[Jan Stożek]

Po głębokim namyśle Olek napisał w Monday 06 of March 2017 22:00:

>>> 2) Nie pobiera adresu MAC ze switcha.
>> A port switcha w ogóle ma adres MAC?
> Jak byś chciał zarządzać switchem bez adresu MAC?

A po co adres MAC modułu zarządzającego switchem softowi do
agregacji łączy? :D

Oczywiście, do zarządzania MAC potrzebny jest. Ale do pracy z
tego, co pamiętam, to raczej nie bardzo.

[Olek]

W dniu 06.03.2017 o 22:23, Jan Stożek pisze:

>
> A po co adres MAC modułu zarządzającego switchem softowi do
> agregacji łączy? :D
>
> Oczywiście, do zarządzania MAC potrzebny jest. Ale do pracy z
> tego, co pamiętam, to raczej nie bardzo.

No to przyznaję, że nie mam pojęcia o bondingu i założyłem, że to ten
sam MAC ma się pojawić w danych.
--
Olek

[Therminus]

Jan Stożek wrote:

> Po głębokim namyśle Therminus napisał w Monday 27 of February 2017
> 19:58:
>
>> 2) Nie pobiera adresu MAC ze switcha.
>
> A port switcha w ogóle ma adres MAC?
>

Port switcha? Który port?
Sam switch jako taki adres posiada.

[Therminus]

Jacek Peczyński wrote:

> Pokaż konfigurację tego switcha.
Nie za bardzo wiem jak to zrobić. Switch jest zarządzany przez przeglądarkę
w trybie graficznym. Włącza się dla wybranych portów Link Aggregation i
tyle.
Mam dwa takie switche i pomiędzy nimi włączyłem agregację dla dwóch portów.
Działa. LACP pokazuje "Enabled".
Natomist dla kart serwera "Disabled"

Pozostałe Twoje sugestie sprawdzę we czwartek.

[Jan Stożek]

Po głębokim namyśle Therminus napisał w Wednesday 08 of March 2017
23:19:

>>> 2) Nie pobiera adresu MAC ze switcha.
>>
>> A port switcha w ogóle ma adres MAC?
>>
> Port switcha? Który port?
> Sam switch jako taki adres posiada.

A jaki adres MAC miałby pobrać rc.bond ze switcha? Bo nie do
końca rozumiem.

[Therminus]

Jacek Peczyński wrote:

> Spróbuj mode=802.3ad, niby jest to samo, ale kto wie...

Niestety, bez zmian

> Spróbuj zamiast ifenslave użyć "ip link set eth0 master bond0".

Spróbowałem, ale chociaż nie wystąpiły błędy, to żadnych zmian w skutkach.

Tak w ogóle to okazało się, że może jest coś nie tak ze switchem.
Podłączyłem do niego jeszcze jednego (taki sam model) i próbowałem spiąć je
razem tak jak tego go poprzedniego. Konfiguracja (poza numerami portów)
identyczna. Początkowo LACP ustawiło się na ENABLED, ale pomyliłem jeden
port. Tzn inny zdefiniowałem, a w inny wetknąłem kabel.
Kiedy to poprawiłem i zrestartowałem switcha, miałem co prawda spięte
prawidłowo (Actiwe Member GE12, GE24), ale LCAP DISABLED. Nie mogłem
doprowadzić do tego, żeby LACP się włączyło. Wywalałem konfigurację, i
konfigurowałem na nowo, zmieniałem porty w obu switchach. Nic z tego.
Brakuje mi pomysłu.

I jeszcze jedno: to są switche 28 portowe. Dwa ostatnie porty GE27 i GE28 są
typu 1000M-ComboC To właśnie na tych portach LACP działa.
Pozostałe porty są typu 1000M-copper, ale to chyba nie powinno mieć
znaczenia. Tym bardziej, że te switche mogą obsługiwać do 8 Link
Aggregation.

[Jacek Peczyński]

Dnia 09.03.2017 Jan Stożek <conu...@chello.pl> napisał/a:
> Po głębokim namyśle Therminus napisał w Wednesday 08 of March 2017
> 23:19:
>
>>>> 2) Nie pobiera adresu MAC ze switcha.
>>>
>>> A port switcha w ogóle ma adres MAC?
>>>
>> Port switcha? Który port?
>> Sam switch jako taki adres posiada.
>
> A jaki adres MAC miałby pobrać rc.bond ze switcha? Bo nie do
> końca rozumiem.
>

Adres MAC partnera LACP.

[Jacek Peczyński]

Dnia 08.03.2017 Therminus <cysorz_to_ma...@gazeta.pl> napisał/a:
> Jacek Peczyński wrote:
>
>> Pokaż konfigurację tego switcha.
> Nie za bardzo wiem jak to zrobić. Switch jest zarządzany przez przeglądarkę
> w trybie graficznym.

Zalogować się po ssh/telnecie/serialu i wklepać:
show run

Jeśli nie masz możliwości dostać się do terminala, to powinieneś wyklikać
opcję eksportu konfiguracji. Tak na szybko spojrzałem na ten model i
wydaje mi się, że nie powinno być problemu zarówno z terminalem, jak i
eksportem konfiga do pliku tekstowego.

> Włącza się dla wybranych portów Link Aggregation i tyle.
> Mam dwa takie switche i pomiędzy nimi włączyłem agregację dla dwóch portów.
> Działa. LACP pokazuje "Enabled".
> Natomist dla kart serwera "Disabled"

A jakieś inne opcje dotyczące agregacji są?

[Jacek Peczyński]

Dnia 09.03.2017 Therminus <cysorz_to_ma...@gazeta.pl> napisał/a:
> Jacek Peczyński wrote:
>
>> Spróbuj mode=802.3ad, niby jest to samo, ale kto wie...
> Niestety, bez zmian
>> Spróbuj zamiast ifenslave użyć "ip link set eth0 master bond0".
> Spróbowałem, ale chociaż nie wystąpiły błędy, to żadnych zmian w skutkach.

Spróbuj także lacp_rate=0. Znowu, teoretycznie nie powinno to robić
różnicy, bo LACP powinno sobie wszystko wynegocjować, ale może pomóc.

> Tak w ogóle to okazało się, że może jest coś nie tak ze switchem.
> Podłączyłem do niego jeszcze jednego (taki sam model) i próbowałem spiąć je
> razem tak jak tego go poprzedniego. Konfiguracja (poza numerami portów)
> identyczna. Początkowo LACP ustawiło się na ENABLED, ale pomyliłem jeden
> port. Tzn inny zdefiniowałem, a w inny wetknąłem kabel.
> Kiedy to poprawiłem i zrestartowałem switcha, miałem co prawda spięte
> prawidłowo (Actiwe Member GE12, GE24), ale LCAP DISABLED. Nie mogłem
> doprowadzić do tego, żeby LACP się włączyło. Wywalałem konfigurację, i
> konfigurowałem na nowo, zmieniałem porty w obu switchach. Nic z tego.
> Brakuje mi pomysłu.

A próbowałeś spiąć Slacka z tym drugim switchem?
Poza tym w konfiguracji linuksa, w którymś tam momencie, zmieniasz adres
MAC bond0. Po co?

> I jeszcze jedno: to są switche 28 portowe. Dwa ostatnie porty GE27 i GE28 są
> typu 1000M-ComboC To właśnie na tych portach LACP działa.
> Pozostałe porty są typu 1000M-copper, ale to chyba nie powinno mieć
> znaczenia. Tym bardziej, że te switche mogą obsługiwać do 8 Link
> Aggregation.

Porty combo, to takie porty współdzielone z SFP, gdzie, albo używasz
wbudowanego portu rj45, albo wkładasz moduł SFP z np. światłowodem. Nie
można na takich portach mieć jednocześnie podłączonej skrętki i czegoś w
SFP. I tak jak napisałeś, nie powinno to robić różnicy, na których
portach ustawiasz LACP.

Dopóki nie pokażesz konfiguracji switcha, ciężko będzie mi powiedzieć
coś więcej. Dodatkowo dostań się do terminala na tym switchu, bo przez
www to ciężko wyciągnąć wszystkie potrzebne informacje z urządzenia.

[Therminus]

Therminus wrote:
No, jest pewien postęp.

> Tak w ogóle to okazało się, że może jest coś nie tak ze switchem.

Ze switchem wszystko w porządku. Okazało się, że źle podchodziłem do
konfiguracji.
W oknie "Edit LAG Membership" pierwsze co należy zrobić, to "zaptaszkować"
LACP: Enable. Jeśli się tego nie zrobi przed dodaniem portów do LAG Members,
to potem opcja ta jest nieaktywna. Nie pamiętałem jak to robiłem po raz
pierwszy i potem myślałem, że to ustawia się automatycznie, skoro nie mogę
tego edytować.
Wygląda na to, że agregacja kart w serwerze działa.
Na switchu LAG Management pokazuje:
LACP: Enabled
Active Member: GE25, GE26

wynik cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 200
Down Delay (ms): 200

802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535

System MAC address: 00:15:17:89:eb:14

Active Aggregator Info:
Aggregator ID: 1

Number of ports: 2
Actor Key: 9
Partner Key: 1001
Partner Mac Address: b0:7d:47:8e:2a:10

Slave Interface: eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:89:eb:14
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none

Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0

details actor lacp pdu:
system priority: 65535
system mac address: 00:15:17:89:eb:14
port key: 9
port priority: 255
port number: 1

port state: 63
details partner lacp pdu:
system priority: 1
system mac address: b0:7d:47:8e:2a:10
oper key: 1001
port priority: 3
port number: 74
port state: 61

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:89:eb:15
Slave queue ID: 0

Aggregator ID: 1
Actor Churn State: none

Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0

details actor lacp pdu:
system priority: 65535

system mac address: 00:15:17:89:eb:14
port key: 9
port priority: 255
port number: 2

port state: 63
details partner lacp pdu:
system priority: 1
system mac address: b0:7d:47:8e:2a:10
oper key: 1001
port priority: 2
port number: 73
port state: 61

Zastanawia mnie tylko jedna rzecz:
Dla obu interfejsów eth0 i eth1 mam te same wartości

details actor lacp pdu:
system priority: 65535

system mac address: 00:15:17:89:eb:14

Dlaczego dla eth1 pokazuje MAC adres eth0?
Mimo to agregacja wydaje się działać w praktyce.
Sprawdzałem kopiowanie dużych plików z sieci na dyski lokalne na dwóch
stacjach jednocześnie i iptraf w porywach dla bond0 pokazywał ponad
200MB/sec

Co do drugiego switcha, to niestety straciłem z nim łączność i nici ze
zdalnej konfiguracji. :(

[Therminus]

Jan Stożek wrote:

> A jaki adres MAC miałby pobrać rc.bond ze switcha? Bo nie do
> końca rozumiem.

Adres MAC switcha. I tak rzeczywiście robi.
Bonding już uruchomiony. Patrz niżej

[Jan Stożek]

Po głębokim namyśle Jacek Peczyński napisał w Thursday 09 of March
2017 21:21:

>> A jaki adres MAC miałby pobrać rc.bond ze switcha? Bo nie do
>> końca rozumiem.

> Adres MAC partnera LACP.

OK, dzięki.

[Jacek Peczyński]

Dnia 09.03.2017 Therminus <cysorz_to_ma...@gazeta.pl> napisał/a:

> Therminus wrote:
> No, jest pewien postęp.
>
>> Tak w ogóle to okazało się, że może jest coś nie tak ze switchem.
> Ze switchem wszystko w porządku. Okazało się, że źle podchodziłem do
> konfiguracji.
> W oknie "Edit LAG Membership" pierwsze co należy zrobić, to "zaptaszkować"
> LACP: Enable. Jeśli się tego nie zrobi przed dodaniem portów do LAG Members,
> to potem opcja ta jest nieaktywna. Nie pamiętałem jak to robiłem po raz
> pierwszy i potem myślałem, że to ustawia się automatycznie, skoro nie mogę
> tego edytować.

Czyli było tak jak napisałem w pierwszym moim poście: "Wygląda mi na to,
że switch nie negocjuje LACP." ;)

> Zastanawia mnie tylko jedna rzecz:
> Dla obu interfejsów eth0 i eth1 mam te same wartości
> details actor lacp pdu:
> system priority: 65535
> system mac address: 00:15:17:89:eb:14
>
> Dlaczego dla eth1 pokazuje MAC adres eth0?

Przeczytaj dokładnie co tam pisze. Nie jest to adres MAC eth1, ale adres
grupy agregacji (bond0). Spróbuj dodać karty sieciowe do bond0 w
odwrotnej kolejności, to zobaczysz MAC eth1 jako "system mac address".

> Mimo to agregacja wydaje się działać w praktyce.
> Sprawdzałem kopiowanie dużych plików z sieci na dyski lokalne na dwóch
> stacjach jednocześnie i iptraf w porywach dla bond0 pokazywał ponad
> 200MB/sec
>
> Co do drugiego switcha, to niestety straciłem z nim łączność i nici ze
> zdalnej konfiguracji. :(
>

Dla tego gorąco polecam Ci zaprzyjaźnić się z CLI. Zanim zrobisz coś
potencjalnie destruktywnego, odpalasz "reload in 10", i za 10 minut switch
się przestartuje z działającą konfiguracją. Dodatkowo przy CLI trudniej
"niezaptaszkować" czegoś.