Sinds dinsdagochtend heeft KPN stabiliteits problemen in
het transport netwerk wat gebruikt wordt voor o.a. ADSL, Business DSL,
UMTS, pinverkeer, en DSL verkeer van andere telcos. Dit is een
netwerk van ATM switches.
Men is nog op zoek naar de exacte oorzaak, maar het lijkt erop
dat dinsdagochtend vroeg 'iets' globaal in het netwerk uit
z'n resources is gelopen waardoor meerdere ATM switches daar last van
kregen - ze zijn immers allemaal gekoppeld. Uiteraard was dit
geen bekende limiet.
Dit is tijdelijk opgelost door een aantal ATM switches te isoleren
van het netwerk zodat de totale belasting omlaag ging en het
netwerk weer stabiel werd. Daardoor was een gedeelte van het
netwerk - en dus de klanten daarachter - niet meer online.
Experts van de leverancier zijn direct aan het werk gegaan om
dit op te lossen, daarnaast is ook nog een team uit het buitenland
gekomen om ter plekke te helpen waar nodig.
Vervolgens is men dinsdag overdag, 's nachts en woensdagochtend
gecontroleerd het netwerk weer helemaal gaan aanzetten, maar dat
lukte niet volledig.
De mogelijke oplossing zou een firmware upgrade zijn, maar het is
natuurlijk een bijzonder slecht idee om in een geval als dit
blind de firmware van alle switches te gaan upgraden van een
landelijk netwerk - dan verlies je zeker de controle.
Dus is ervoor gekozen om langzaam het netwerk te herstellen, en
alleen op switches waar het niet anders kan voor de stabiliteit
van het netwerk uiteindelijk de firmware te upgraden. Een
deel van de xs4all only verbindingen loopt helaas via een
aantal switches waarbij zo'n firmware upgrade noodzakelijk is,
en die waren het laatst aan de beurt.
Op dit moment is het grootste gedeelte van de klanten weer online.
Er wordt nog aan 1 switch gewerkt, en er zijn nog wel wat
noodoplossingen geweest die terug gedraaid moeten worden.
Mededeling van de helpdesk: als je niet vanzelf online komt kan
het helpen om het modem uit- en aan te zetten :)
Mike.
Als alles weer draait en de noodoplossingen zijn terug gedraaid, zou je dan
een berichtje willen posten in deze NG.
Ik ben tot op heden nog niet online, (wel via open wifi van de buren).
Een restart van modem werkte ook niet zal hem even 45 min uit zetten.
Benno
Klopt, je zit op die switch waar momenteel nog aan gewerkt wordt.
--
Timo
Ik was net ook niet online, nadat ik thuis kwam uit m'n werk en kreeg
het idee om even in het modem te kijken. Daar bleek ineens niks meer te
staan bij inlognaam en wachtwoord, nadat ik daar weer wat had ingetikt,
verbinde het modem weer en ben ik weer online.
--
Hans Veldman
http://www.airliners.net/search/photo.search?pid=36650
http://www.jetphotos.net/showphotos.php?userid=27258
http://www.pbase.com/argus57
Facts and figures never lie (unless they are wrong).
> Miquel van Smoorenburg wrote:
>
> [..]
>
>> Mededeling van de helpdesk: als je niet vanzelf online komt kan het
>> helpen om het modem uit- en aan te zetten :)
>
> Die van mij heeft het gewoon de hele dag staan proberen, en uiteindelijk
> lukte het.
>
> Bedankt voor de informatie. Gaan alle getroffen klanten nu een mooi
> cadeautje van KPN ontvangen als pleister op de wonde? ;)
>
wou je nou echt zo graag een Tshirt met " Stop crashing my ATM "??
Is dat voor de mensen thuis ergens aan te herkennen (behalve dat je
verbinding het niet doet)? Zijn dat ip-adressen/postcodes in een bepaalde
range, ik kan me voorstellen dat mensen graag willen weten of ze de
helpdesk moeten gaan bellen of gewoon nog even geduld moeten hebben?
AVee
Nee, is niet regio- of postcode gebonden, je kan het verder ook niet zien,
behalve dat je geen werkende verbinding hebt.
Maar.. inmiddels zijn alle ATM poorten richting XS4ALL weer in de lucht, dus
langzamerhand zou iedereen weer online moeten komen. Dus, even modem uit/aan
zetten, als het niet meteen lijkt te lukken.
--
Timo
AVee schreef:
Maak daar maar dinsdagnacht vanaf 0200 van aldus m'n grafiekjes. Een uur later
werkte het weer een beetje, maar niet van harte; ben maar gaan slapen :P
> Men is nog op zoek naar de exacte oorzaak, maar het lijkt erop
> dat dinsdagochtend vroeg 'iets' globaal in het netwerk uit
> z'n resources is gelopen waardoor meerdere ATM switches daar last van
> kregen - ze zijn immers allemaal gekoppeld. Uiteraard was dit
> geen bekende limiet.
Ehm, 'iets'? Ik neem aan dat al die switches prachtig werken met SNMP en dat
ze dus van alles wel mooie grafiekjes kunnen maken? En logs e.d.? Ik vind
'iets' wel enorm vaag.
Ondanks dat bedankt voor de moeite dit te schrijven :)
t Lijkt alleen wel handig om 't zinkende schip KPN te verlaten, aangezien
'iets' niet 'zomaar' kapot behoort te gaan. Klinkt alsof het netwerk met
ducttape en tie-wraps aan elkaar vast zit.
Mike, bedankt voor de update!
S.
> Op dit moment is het grootste gedeelte van de klanten weer online.
> Er wordt nog aan 1 switch gewerkt, en er zijn nog wel wat
> noodoplossingen geweest die terug gedraaid moeten worden.
Pff... Het werd tijd. Na bijna 36 uur weer verbinding!
14/05/2008 14:46:20
DHCC offer received from 212.238.241.1 (can be relay agent) on intf Inet
DHCC server (194.109.20.123) offers 212.238.241.140 to intf Inet
DHCC lease ip-address 212.238.241.140 bound to intf Inet
GRP Default destination is routed via gateway 212.238.241.1
--
Kuifmans
Ja, maar ik schrijf vaak iets van 'dinsdag ochtend vroeg', want
is dinsdag nacht nou van maandag op dinsdag of van dinsdag op
woensdag ?
Ik ging vorige week een week op vakantie, en de taxi voor schiphol
kwam om 02:30. Ik had nog niet geslapen, maar mijn vakantiegenoten wel.
Dat leverde nogal wat problemen op met de definitie van 'gisteren' :)
>> Men is nog op zoek naar de exacte oorzaak, maar het lijkt erop
>> dat dinsdagochtend vroeg 'iets' globaal in het netwerk uit
>> z'n resources is gelopen waardoor meerdere ATM switches daar last van
>> kregen - ze zijn immers allemaal gekoppeld.
>
>Ehm, 'iets'? Ik neem aan dat al die switches prachtig werken met SNMP en dat
>ze dus van alles wel mooie grafiekjes kunnen maken? En logs e.d.? Ik vind
>'iets' wel enorm vaag.
Dat het stuk was wisten ze wel, maar de oorzaak van een onverwachte
spontane crash kan je moeilijk via SNMP uitlezen denk ik.
Overigens wordt dit ATM netwerk in de nabije toekomst uitgefaseerd,
dit is nu precies het stuk dat vervangen wordt door ethernet in
het KPN All-IP netwerk.
Mike.
Ik had net rond een uur of vier weer een verbinding, maar die valt nu net
weer uit. :(
Die ene foute poort, klappert die, of is wat net nog werkte nu weer stuk?
AVee
Mijn dank is groot alles werkt weer.
Benno
Ik ben lid van het "de dag begint met de nacht"-Front ;) Als iedereen nou
gewoon snapte wanneer het nacht et cetera is, dan was er ook geen
onduidelijkheid ;)
>>> Men is nog op zoek naar de exacte oorzaak, maar het lijkt erop
>>> dat dinsdagochtend vroeg 'iets' globaal in het netwerk uit
>>> z'n resources is gelopen waardoor meerdere ATM switches daar last van
>>> kregen - ze zijn immers allemaal gekoppeld.
>> Ehm, 'iets'? Ik neem aan dat al die switches prachtig werken met SNMP en dat
>> ze dus van alles wel mooie grafiekjes kunnen maken? En logs e.d.? Ik vind
>> 'iets' wel enorm vaag.
>
> Dat het stuk was wisten ze wel, maar de oorzaak van een onverwachte
> spontane crash kan je moeilijk via SNMP uitlezen denk ik.
>
> Overigens wordt dit ATM netwerk in de nabije toekomst uitgefaseerd,
> dit is nu precies het stuk dat vervangen wordt door ethernet in
> het KPN All-IP netwerk.
>
> Mike.
Ah ok, dat is goed om te horen, huppetee, weg met die ouwe meuQ.
't Viel hier overigens net weer uit. Oh en as we speak is het weer plat. Zijn
dit "naweeën", upgrades of is het nou gewoon nog steeds zo brak als
Dode-zee-water?
Het "lijkt" online te komen, maar:
04:45:38.300080 00:0c:41:3a:58:f1 > ff:ff:ff:ff:ff:ff, ethertype ARP
(0x0806), length 42: arp who-has 62.216.22.1 tell 62.216.22.210
04:45:39.300089 00:0c:41:3a:58:f1 > ff:ff:ff:ff:ff:ff, ethertype ARP
(0x0806), length 42: arp who-has 62.216.22.1 tell 62.216.22.210
04:46:30.300146 00:90:1a:41:8e:bf > ff:ff:ff:ff:ff:ff, ethertype ARP
(0x0806), length 60: arp who-has 80.100.209.179 tell 62.216.7.1
04:46:33.783866 00:90:1a:41:8e:bf > ff:ff:ff:ff:ff:ff, ethertype ARP
(0x0806), length 60: arp who-has 80.100.209.179 tell 62.216.7.1
Ik zal maar op voorhand verklappen dat ik bang ben dat ik na jaren
dhcploos
gedraaid te hebben opeens dhcp zou moeten gebruiken...
Ik vind het zowiezo vaag dat een arp voor een ander (80.100.209.179)
ip adres
op mijn lijn binnenkomt. Het is dan wel broadcast, maar toch, met
cistron BBNED
adsl en tweak BBNED heb ik eigenlijk nooit arp's binnen zien komen
voor andere
adressen dan de mijne... (voor zover ik me kan herinneren ;-) ).
Dus de grote vraag: zal ik gewoon verder dhcploos kunnen blijven
werken? :-)
ik ben er al weer uitgeklapt, verbinding weg.
--
mvg Jassy
Ligt hier ook weer plat (Amsterdam)
>> ik ben er al weer uitgeklapt, verbinding weg.
>>
>> --
>> mvg Jassy
>
> Ligt hier ook weer plat (Amsterdam)
Gaat inderdaad als een knipperlicht.... tijden zijn overigens GMT/UTC+1
May 14 17:57:52 DHCC lease ip-address 212.238.241.140 bound to intf Inet
May 14 17:54:35 DHCC IP address 212.238.241.140 deleted: ok
May 14 17:51:34 DHCC lease ip-address 212.238.241.140 bound to intf Inet
May 14 17:46:32 DHCC IP address 212.238.241.140 deleted: ok
May 14 17:45:22 DHCC lease ip-address 212.238.241.140 bound to intf Inet
May 14 17:45:02 DHCC IP address 212.238.241.140 deleted: ok
May 14 17:41:25 DHCC lease ip-address 212.238.241.140 bound to intf Inet
May 14 17:38:15 DHCC IP address 212.238.241.140 deleted: ok
May 14 17:36:10 DHCC lease ip-address 212.238.241.140 bound to intf Inet
May 14 17:33:30 DHCC IP address 212.238.241.140 deleted: ok
--
Kuifmans
Dat is een access router zoals XS4ALL die heeft gebruikt, waar het hier
om gaat is ATM switches bij KPN. Overigens worden de 1440's voor XS4ALL
Only niet gebruikt, dat zijn allemaal E320's
--
Timo
> Mijn billion modem kan trouwens dhcp als backup doen,
> als 'ie ziet dat de static info niets oplevert. Best cool.
Tja, ik vind dhcp zowiezo nooit zo leuk wegens het fixen van routes
voor en achteraf. Toch maar eens een patch opsturen voor dhcping dat
die nooit meer een release stuurt. Dan vind dat vanzelf wel zijn weg
in openwrt 8-D.
> Maar.. inmiddels zijn alle ATM poorten richting XS4ALL weer in de lucht, dus
> langzamerhand zou iedereen weer online moeten komen. Dus, even modem uit/aan
> zetten, als het niet meteen lijkt te lukken.
't Is allemaal heel instabiel, ik vlieg er geregeld uit (met weer
een rood lampje op mijn Speedtouch). Ik hoop van harte dat het op
korte termijn weer allemaal in orde komt en dat jullie een rustige
nacht hebben...
- K -
>
> Ligt hier ook weer plat (Amsterdam)
Hmm, in Amstelveen 1188 ruim 40 uur plat geweest, van 1:37 13e down tot
18:11 14e vandaag weer up en running, en nu nog steeds
online, fingers crossed! Zal wel weer een aantal ATM switches eruit
geklapt zijn en net die van mij nu even niet
Dinsdagnacht is de nacht die valt op de dinsdag, simpeler kan het toch niet?
Een etmaal begint met een nacht.
Styx.
W.
> Iedereen is bekend met de storing die momenteel loopt.
> KPN is in DEFCON2 en men is voornamelijk bezig het probleem op
> te lossen, een mooie management summary heeft xs4all op dit
> moment niet, maar onze indruk van de gebeurtenissen is als volgt.
Dank voor de heldere uiteenzetting van de storing. Zou XS wellicht een
Watchmyserver dienst kunnen opzetten? Of een sms kunnen sturen bij dit soort
uitbraken aan gewoon dew komplete groep klanten die getroffen wordt? Ik zou
het erg prettig vinden als ik als mijn systeem thuis onpingbaar is voor een
uur een smsje willen hebben en als het systeem het weer doet een sms dat de
zaak weer werkt.
-=Rob=-
Dat laatste, denk ik. Ik zit na veel gepruts nu ook via
ppp/bluetooth/nokia/umts online. Er schijnen weer een
aantal atm switches offline te zijn. En dat terwijl toen ik
vanavond naar huis toe ging, alle verbindingen het weer deden.
Mike.
Het is misschien nog wel erger dan eerst. Of in ieder geval, elders in het
netwerk dan eerst. Tot vandaag 19:00 had ik weinig problemen gehad - af en
toe een paar minuten 'down' - maar sinds 19:00 heb ik helemaal niets meer.
- Michael (dogbert punt demon punt nl, XS4All Only (ex-Demon), Amstelveen)
>>'t Viel hier overigens net weer uit. Oh en as we speak is het weer plat. Zijn
>>dit "naweeen", upgrades of is het nou gewoon nog steeds zo brak als
>>Dode-zee-water?
> Dat laatste, denk ik. Ik zit na veel gepruts nu ook via
> ppp/bluetooth/nokia/umts online. Er schijnen weer een
> aantal atm switches offline te zijn. En dat terwijl toen ik
> vanavond naar huis toe ging, alle verbindingen het weer deden.
Mike, hier viel de lijn weg om 19:00 uur voor een paar minuten
maar kwam ie weer terug (non-xs4all, wel bitstream)
Daarop kreeg ik bericht van kpn dat nodes 222,224 en 226 eruit lagen.
Daar zitten blijkbaar veel xs4all lijnen op.
Ik vermoed instabiliteit op het netwerk, daardoor die 3 nodes geisoleerd
en die gaan ze nu upgraden.
Persbericht (zie telegraaf/tweakers) was om 1830 al de deur uit, iets
te vroeg dus.
Hans
Het is echt "@#$ met peren". Gelukkig heb ik nog een laptopje met ingebouwd
modem. Anders had ik zo ongeveer met de kippen op stok kunnen gaan...
Groeten,
-Roger
18:30 was wel het tijd stip dat velen xs4all only gebruikers weer hun
conectie veloren
Same here, XS4ALL Only, Haarlem 2013BL. ATM lijkt up, IP down.
Precies dezelfde situatie hier. Maar dat hebben we wel vaker, geloof ik...
--
Adriaan
>Men is nog op zoek naar de exacte oorzaak, maar het lijkt erop
>dat dinsdagochtend vroeg 'iets' globaal in het netwerk uit
>z'n resources is gelopen waardoor meerdere ATM switches daar last van
>kregen - ze zijn immers allemaal gekoppeld. Uiteraard was dit
>geen bekende limiet.
Dat wisten jullie toch al (vooruitziende blik?):
http://groups.google.com/group/xs4all.adsl/msg/4165cb8e58b7ac07
Groeten, Menno.
Hmmm,
Ik heb -behalve arps voor een ip adres dat niet op mijn lijn hoort-
nog geen
verkeer erover zien gaan.
MAW: er is wel een soort atm connectie, maar het komt verkeerd aan.
Ik ben bang dat de config voor mijn lijn ergens weg is geraakt.
> Ja, maar ik schrijf vaak iets van 'dinsdag ochtend vroeg', want
> is dinsdag nacht nou van maandag op dinsdag of van dinsdag op
> woensdag ?
Is contextafhankelijk. Zie
http://www.onzetaal.nl/advies/maandagnacht.php
Robert
> Er schijnen weer een
> aantal atm switches offline te zijn. En dat terwijl toen ik
> vanavond naar huis toe ging, alle verbindingen het weer deden.
Yup, na zeven uur was de boel ook hier weer definitief dood, na een
korte periode van normaal werkend verkeer en daarna een uur een
klapperende lijn.
Argh. Werken aan een lezing over internet gaat echt makkelijk zonder
internet...
Helpen jullie KPN, of is alles afhankelijk van hun technici?
- K -
Wat op z'n minst een leuke footnote oplevert. :-)
Maar ik heb nu ook maar ff nood internet via mijn mobiel, bijna 46 uur
down, gaat goed zo.
--
mph
Het probleem zit in ATM netwerk apparatuur van KPN, en dat
kan alleen KPN oplossen. Er is wel iemand van ons online om KPN
te helpen door te vertellen wat we aan onze kant zien: welke
verbindingen up/down zijn, hoeveel klanten daarop weer actief
zijn of juist niet, etc. Timo zal vannacht weinig slaap krijgen
denk ik.
Mike.
Er waren een aantal noodvoorzieningen getroffen, wat betekent dat die
t.z.t. weer uitgeschakeld moeten worden en vervangen door een
definitieve oplossing. Ik neem aan dat dat heel tijdelijk weer een
storing zal veroorzaken. Hier in A'dam ZO loopt alles alweer een halve
dag prima.
Een aantal ATM switches (je modem geeft aan dat er wel een goede ADSL
verbinding is, maar geen ATM loopback cell of zoiets als je kijkt op
10.0.0.138) hadden het begeven, en omdat die geschakeld zijn (dat is
het voordeel ervan dat ze makkelijk verbindingen overschakelen) werd
het hele netwerk onstabiel. Om dat te verhinderen zijn toen een aantal
ATM switches uitgeschakeld, waardoor een aantal klanten helemaal geen
verbinding meer hadden, maar de rest wel stabiel werd.
Het is misschien net als de vierkante wielen van de spoorwegen in de
herfst, maar bij KPN hebben ze flikkerende ATM switches.
Nou is de verleiding *heel* *groot* om daar een reply op te sturen,
maar ik geloof niet dat het de bedoeling is dat ik de zooi van andere
vaste IP klanten loop te versteren :-).
Mike, die wakkere jongens/meisjes kunnen die dus ook zien dat ik vanaf
18.50 uur ongeveer geen internet heb?
Vanaf de storing 12-05-2008 omstreeks 02.30 uur tot 12-05-2008 16.30 uur was
er geen verbinding mogelijk met het internet! vanaf 14-05-2008 omstreeks
18.50 uur totaal geen verbinding, het Zyxel modem is al een paar keer
gereset, maar de Internet led komt niet in, wel de DSL led.
Locatie Weert, ik weet niet of je nog op systeemnaam kunt contoleren!
Ger (die toch wel wakker blijft)
Wel een rustig idee om te weten dat ik dus echt op de allerlaatste switch
zit. Geen last van een knipperlicht of zo, gewoon nog helemaal geen
connectie gehad sinds 't er dinsdagochtend uitlag.
Arnold
> Volgens mij zitten er heeeeeel veel klanten op die ene switch... 't Is
> hier ook nog zo dood als een pier.
>
Hier hetzelfde, regio Arnhem en sinds het begin van de storing ook
niet meer up geweest.
Ik begin nu na twee volle dagen storing toch een beetje ongeduldig te
worden...
Rob
op de site van xs4all staat een nieuwe update om 23:00 dat 2/3 van de
only klanten er nog niet opkunnen.
mijn speedtouchje staat ook nog steeds op retrying, retrying,
retrying.....
ik ben al 9 jaar klant van xs4all en deze storing lijkt dan wel aan
kpn te liggen, maar toch, het komt toch wel zeer amateuristisch over.
gelukkig hebben de buren een @home lijntje en ik ze een wireless
routertje uitgeleend.
http://gawker.com/380877/south-park-the-day-the-internet-stood-still
Ach, de KPN was gewoon bang dat ik m'n ISDN lijn zou vervangen door VOIP :-)
(wel jammer dat dat zoveel anderen moet treffen)
Het valt me toch best mee, hoe goed een 64 kbit/s nog werkt.
--
That was it. Done. The faulty Monk was turned out into the desert where it
could believe what it liked, including the idea that it had been hard done
by. It was allowed to keep its horse, since horses were so cheap to make.
-- Douglas Adams in Dirk Gently's Holistic Detective Agency
>> Helpen jullie KPN, of is alles afhankelijk van hun technici?
> Het probleem zit in ATM netwerk apparatuur van KPN, en dat
> kan alleen KPN oplossen.
Dat vreeste ik al. Het idee dat jullie KPN konden bijstaan had ik
wel prettig gevonden :)
> Er is wel iemand van ons online om KPN
> te helpen door te vertellen wat we aan onze kant zien: welke
> verbindingen up/down zijn, hoeveel klanten daarop weer actief
> zijn of juist niet, etc. Timo zal vannacht weinig slaap krijgen
> denk ik.
Arme Timo. Sterkte!
- K -
> Mike, die wakkere jongens/meisjes kunnen die dus ook zien dat ik vanaf
> 18.50 uur ongeveer geen internet heb?
Volgens de meest recente storingsupdate (23:00) is 2/3 van de
ADSL-Only klanten offline. Maar ik denk niet dat Timo die
verbindingen stuk voor stuk heeft gecontroleerd :)
- K -
Bedoel je niet +2? Tijdens zomertijd toch +1 aanhouden zou ik een rare
middenweg vinden.
Ted van de Weteringe wrote:
> Bedoel je niet +2? Tijdens zomertijd toch +1 aanhouden zou ik een rare
> middenweg vinden.
Is een kwestie van niet aan zomertijd doen.
Of in de UK zitten.
Vr.Gr,
Rob
--
The Leiden city council intends to mummify the town
> Iedereen is bekend met de storing die momenteel loopt.
> KPN is in DEFCON2 en men is voornamelijk bezig het probleem op
> te lossen, een mooie management summary heeft xs4all op dit
> moment niet, maar onze indruk van de gebeurtenissen is als volgt.
>...
> Mededeling van de helpdesk: als je niet vanzelf online komt kan
> het helpen om het modem uit- en aan te zetten :)
Bedankt voor de info. Hou je ons op (weer) de hoogte als we online zouden
moeten (kunnen) zijn? Mijn Fritzbox staat dan wel zijn best te doen de verbinding
te herstellen. Dat zou genoeg moeten zijn, maar die opmerking over het opnieuw
starten brengt me aan het twijfelen.
--
Kees
Dat bedoel ik met middenweg. Dan zou ik UTC doen.
> Of in de UK zitten.
Ja, oke, maar dan heb je geen XS4ALL ADSL problemen denk ik :)
Modem tijdzone staat op CET maar DST correctie stond niet aan... vandaar ;-)
Overigens ging vlak na mijn vorige posting het ATM gebeuren weer plat, tot ca.
7:45 vanochtend...
--
Kuifmans