Beantwoord

[28-10] Latency issues


Reputatie 4

Het blijkt vandaag dat er geen verbinding meer mogelijk is met T-mobile thuis via de AMS-IX.

Als het verkeer gaat via de DTAG.

 

Gezien er bij de DTAG wat verbindingen vol zitten met verkeer levert dit nu z’n 6% packetloss op.

 

Hoe gaat dit opgelost worden?

icon

Beste antwoord door Mitch 1 November 2019, 18:16

Bekijk origineel

564 reacties

Reputatie 7
Badge +10

Dit lijkt niet op een foutje. Je verwijdert niet “per ongeluk” zomaar 38 BGP peers.

Nee, maar bij een storing zou ik wel een exchange helemaal afsluiten.

Reputatie 4
Badge +3

Dit lijkt niet op een foutje. Je verwijdert niet “per ongeluk” zomaar 38 BGP peers.

Nee, maar bij een storing zou ik wel een exchange helemaal afsluiten.

Ik zie nu pas dat er een storing is (geweest?) bij NL-ix, en inderdaad, waarschijnlijk heeft het daar inderdaad mee te maken.

Reputatie 4

@Hidden.nld  @Jeffrey87 De storing bij NL-ix was op 04-10-2019 2:58 CESTvolgens mij heeft deze niks te maken met wat er gisteren is gebeurd, of kijk ik verkeerd?. 

Reputatie 4
Badge +3

De storing bij NL-ix was op 04-10-2019 2:58 CESTvolgens mij heeft deze niks te maken met wat er gisteren is gebeurd, of kijk ik verkeerd?. 

Oh ja, lol, dat was precies een maand geleden :rofl:

Reputatie 7
Badge +10

`oh lol, ik zit niet op te letten zie ik.

 

Jammer dat er geen status pagina is zodat je kan zien hoe het er voor staat.

Reputatie 3

Vanuit netwerk perspectief zag dit er nog ‘t meest uit als een auto-bandwidth lsp die automatisch een non-congested of werkend pad kiest, waardoor traceroutes ‘t zelfde er uit zien, maar ‘t in princiepe via heel europa kan routen..

 

Dus of storing of capaciteits probleempje?

Ook ik heb Ik heb gisteravond last gehad van een overbelaste CW lijn. Ik had gisteren weer flinke problemen met online streaming. Ik begin m’n vertrouwen in een goede oplossing intussen kwijt te raken en ik vraag met af of ik wel de juiste keus heb gemaakt om van de KPN naar T-mobile over te stappen.

Reputatie 4

Hoe laat? Ik heb gisteren op meerdere momenten gemeten en geen nieuwe problemen opgemerkt. Waarom denk je dat de CW-lijn overbelast was? Er kunnen namelijk meerdere redenen waarom streaming niet goed werkt. Youtube werkte voor mij gisteravond evenwel prima (Google gaat overigens niet via CW).

Reputatie 4
Badge +3

Ook ik heb hier gisteravond geen problemen ervaren op mijn lijn.

Reputatie 7
Badge +10

Zo nu de storm weer is gaan liggen vraag ik mij af wat volgens jullie dan wel een goede oplossing is. 

sommige zijn inmiddels allergisch voor DTAG maar is dat eigenlijk wel terecht ? dat is namelijk niet mijn mening. DTAG zou prima naast CW kunnen staan lijkt mij.

Reputatie 4

DTAG heeft inderdaad een bijsmaak gekregen, maar je hebt helemaal gelijk dat DTAG prima van waarde kan zijn voor het verbeteren van de internetconnectiviteit. Er zijn wat mij betreft drie zaken verkeerd gegaan met DTAG:

  • Er werd exclusief van DTAG gebruik gemaakt. Geen enkele Nederlandse internetaanbieder peert exclusief met één partij.
  • DTAG had niet de juiste connectiviteit binnen Nederland en kon dus geen goede verbindingen met Nederlandse internetdiensten realiseren.
  • De verbinding met DTAG zelf raakte overbelast.

DTAG lijkt mij een partij met uitstekende verbindingen naar Duitsland en elders op het Europese vasteland. We hebben nu een combinatie van AMS-IX, NL-IX en C&W. Zou je DTAG daar nog bij zetten en de BGP-algoritmen van geval tot geval laten bepalen welke de beste is, dan zou de hoeveelheid mogelijke routes over het internet nog een heel eind vergroten, waardoor met name de kwaliteit van de verbindingen op het Europese vasteland er op vooruit kunnen gaan. Ik denk dat dit precies de maatregel is die tot een netwerk kan leiden van een kwaliteit waar zelfs XS4All zich niet mee kan meten.

De grote vraag is of het economisch haalbare kaart is om beide transitpartijen volwaardig in te zetten.

Reputatie 4
Badge +3

Als ze DTAG goed implementeren inclusief peering binnen Nederland dan is er helemaal niets op tegen wat mij betreft, alleen ze gingen hier uitsluitend op DTAG en dat netwerk is niet berekend op goede Nederlandse connectiviteit.

Reputatie 4

Na gisteren geen problemen te hebben gehad, lijken vandaag toch helaas weer de problemen te beginnen 😞

Het valt op dat de latency na half 9 lijkt op te lopen en rond 9 uur een hinderlijke lag veroorzaakt. 

traceroute to 85.190.90.44 (85.190.90.44), 64 hops max, 52 byte packets

 1  vigor.router (192.168.1.1)  3.583 ms  2.169 ms  2.868 ms

 2  1-4-201-31.ftth.glasoperator.nl (31.201.4.1)  4.678 ms  5.914 ms  3.742 ms

 3  10.10.80.149 (10.10.80.149)  8.350 ms  8.264 ms  8.595 ms

 4  ae24-xcr1.amt.cw.net (195.89.97.129)  48.341 ms  47.659 ms  48.879 ms

 5  ge-3-2-0-ycr1.pat.cw.net (195.2.2.226)  57.250 ms  57.269 ms  56.924 ms

 6  be1273.rcr22.ams05.atlas.cogentco.com (130.117.14.173)  64.937 ms  66.606 ms  67.657 ms

 7  be3499.ccr41.ams03.atlas.cogentco.com (154.54.60.21)  52.693 ms

    be3500.ccr42.ams03.atlas.cogentco.com (154.54.60.25)  49.296 ms  49.416 ms

 8  be2544.agr22.ams03.atlas.cogentco.com (130.117.1.181)  69.532 ms  66.529 ms

    be2545.agr22.ams03.atlas.cogentco.com (130.117.2.89)  67.861 ms

 9  be3497.nr51.b015969-1.ams03.atlas.cogentco.com (154.25.1.118)  42.659 ms  45.592 ms

    be3498.nr51.b015969-1.ams03.atlas.cogentco.com (154.25.1.122)  71.852 ms

10  blade.demarc.cogentco.com (149.14.143.202)  75.216 ms  103.272 ms  89.236 ms

11  s-spine1-n1-ae2.ams1.shadow.guru (185.253.168.125)  59.101 ms

    s-spine1-n1-ae3.ams1.shadow.guru (185.253.168.121)  68.434 ms  83.066 ms

 

In de onderstaande grafiek zie je de latency ook langzaam oplopen: 



Als ik verbindingen controleer dat via de AMS-ix lopen blijven deze netjes onder een ping van 10ms. 
Ik verwacht dat er rond de piekuren toch een netwerkcongestie aanwezig is op het C&W trace, alleen bleef het gisteren onder de hinderlijke limiet. 

@Hidden.nld is hiervan een t-mobile moderator op de hoogte te brengen, om dit issue ter aandacht te brengen?  

Reputatie 4

Dat kan ik bevestigen, hier soortgelijke problemen.

Reputatie 1

Kennelijk zijn de wijzigingen niet helemaal teruggedraaid naar de situatie van voor 25 oktober. Maar waar zit nu de bottleneck? Op het C&W transit verkeer?

Reputatie 4

Ik kan mezelf maar eigenlijk 2 dingen bedenken,  

  1. De rollback heeft inderdaad toch een net andere situatie opgeleverd en er gaat meer verkeer over de C&W trace, wat vroeger toch over de AMS-ix/NL-ix ging.
  2. Door de recente geïntroduceerde uit en thuis opties van t-mobile met 1Gbps, heeft de overboeking's verhouding op deze C&W verbinding verstoort, en is niet meer in balans en moet dus worden vergroot. 
Reputatie 3

‘t is in ieder geval nog steeds drama. We zitten nu meer dan een week verder en ‘t is nog steeds slecht in de uren dat ‘t er toe doet.

 

Ik ga deze week iig overstappen naar een alternatief. Tweak kan bij mij 500/500 leveren, da’s iig beter dan een 750 of 1000 met idioot hoge latencies in de piekuren.

 

Reputatie 4
Badge +3

Het is echt weer drama geweest tussen ca. 19:00 en 00:00. De helpdesk doet ook alsof ze van niets weten en geven alleen aan: "De verbinding ziet er goed uit", goh mijn DSL verbinding is prima, maar het zijn jullie uplinks, maar dat snappen ze niet, en vragen mij om maar terug te bellen als het probleem zich voordoet.

Reputatie 7
Badge +10

Ik kan mezelf maar eigenlijk 2 dingen bedenken,  

  1. De rollback heeft inderdaad toch een net andere situatie opgeleverd en er gaat meer verkeer over de C&W trace, wat vroeger toch over de AMS-ix/NL-ix ging.
  2. Door de recente geïntroduceerde uit en thuis opties van t-mobile met 1Gbps, heeft de overboeking's verhouding op deze C&W verbinding verstoort, en is niet meer in balans en moet dus worden vergroot. 

heb je een voorbeeld van deze verbindingen die vroeger over AMS-IX gingen ? dan kunnen ze er even naar kijken.

Voor het upgraden van de C&W Transit, zou ik liever een 2de of 3de Transit zien zoals Level 3 of zelfs DTAG (voor de Duitse verbindingen ;) )

‘t is in ieder geval nog steeds drama. We zitten nu meer dan een week verder en ‘t is nog steeds slecht in de uren dat ‘t er toe doet.

 

Ik ga deze week iig overstappen naar een alternatief. Tweak kan bij mij 500/500 leveren, da’s iig beter dan een 750 of 1000 met idioot hoge latencies in de piekuren.

 

Jammer dat je gaat @Wunk Tweak is ook niet zalig maken heb ik al gehoord.

 

Het is echt weer drama geweest tussen ca. 19:00 en 00:00. De helpdesk doet ook alsof ze van niets weten en geven alleen aan: "De verbinding ziet er goed uit", goh mijn DSL verbinding is prima, maar het zijn jullie uplinks, maar dat snappen ze niet, en vragen mij om maar terug te bellen als het probleem zich voordoet.

Voor deze zaken kan je beter hier op het forum zijn. die kunnen wel schakelen met de netwerk mensen.

Transits BGP Peerings is een brug te ver voor de helpdesk.

Reputatie 4

Nee, de telefonische helpdesk weet echt niet met dit soort problemen om te gaan. Zij hebben nooit gehoord wat routing of peering is. Ze kunnen je hooguit helpen met de hele simpele storingen zoals een defect modem of een administratief probleem. 

Ik vindt dit wel een probleem bij T-mobile, ze hebben niet echt een ingang waarbij "tech savvy" gebruikers snel hun problemen kwijt kunnen. Ik dacht in het begin dat dit forum wellicht het antwoord was, maar dit blijkt ook niet echt het geval te zijn. Er worden door T-mobile moderators ook niet echt ingesprongen bij dit soort incidenten, ik denk dat deze materie ook allemaal boven hun pet stijgt.  

Ik denk dat je bij een ISP als Tweak of Xs4all beter terecht kunt af en toe. T-mobile zo ver als het werkt prima, maar als het dit soort problemen spelen krijg je dit gewoon niet snel bij ze aangekaart.

Al een reactie van een moderator we horen jullie problemen, ik heb dit intern geëscaleerd en kom einde van de week met een update van de stand van zaken bij jullie terug.

Dan wordt de situatie dat het nu even slecht is beter geaccepteerd.  We weten dat er aan een oplossing wordt gewerkt, we weten ook wel dat dit soort zaken niet binnen 24 opgelost zijn, wellicht is hier nieuwe hardware voor nodig wie weet. 

 

Reputatie 4
Badge +3

 

Het is echt weer drama geweest tussen ca. 19:00 en 00:00. De helpdesk doet ook alsof ze van niets weten en geven alleen aan: "De verbinding ziet er goed uit", goh mijn DSL verbinding is prima, maar het zijn jullie uplinks, maar dat snappen ze niet, en vragen mij om maar terug te bellen als het probleem zich voordoet.

Voor deze zaken kan je beter hier op het forum zijn. die kunnen wel schakelen met de netwerk mensen.

Transits BGP Peerings is een brug te ver voor de helpdesk.

 

Dat weet ik, alleen heb ik het idee dat T-Mobile het idee heeft dat dit topic is afgedaan sinds de rollback van afgelopen week. Er komen meerdere klachten in dit topic binnen, maar tot nu toe is er nog geen inhoudelijke reactie geweest.

Reputatie 3

@Hidden.nld het probleem is, is dat ‘t niet te zien is wat er gebeurt. Behalve een latency die je niet verwacht, zie je niks. Traceroutes volgen nog steeds het normale patroon, al dan met latencies die 10x hoger zijn dan ze moeten zijn.


En op een goede backbone is dit prima, bij lijnen die vol zitten heb je liever hogere latency dan packetloss, maar het feit dat er een aantal dagen nu in de piekuren klachten zijn, voelt toch alsof er auto-bandwidth lsp’s (backbone tunnels) over ‘t buitenland worden geroute om capaciteitsproblemen te omzeilen. Dit is niet iets wat ik eerder heb gemerkt en iets van de laatste anderhalve week.

 

Als ik op een zondagavond op een Amsterdam hop van <10ms naar >100ms ga, is er iets goed mis.

 

 

2. 1-2-201-31.ftth.glasoperator.nl 0.0% 10 5.9 6.5 5.2 10.1 1.8

3. 10.10.80.149 0.0% 10 10.0 10.1 8.9 12.2 1.0

4. ae24-xcr1.amt.cw.net 0.0% 9 106.3 110.1 106.3 126.6 6.3


Als ‘t een keertje gebeurt gaan we uit van een storing die netjes omgeleid word (waarvoor dan hulde), meerdere avonden dit soort problemen is echt een capaciteitsprobleem waarbij word omgeleid.

 

Ik wil geen heksenjacht starten, maar als maar een deel van de capaciteit is hersteld met oog op publieke opinie en zichtbare netwerk paden en er worden alsnog (onzichtbare) omwegen via ‘t buitenland benut tijdens piekuren over wat voor netwerk dan ook om dit op te lossen, dan blijft het een goedkoop is duurkoop verhaal wat niet veel verschilt met de eerdere situatie via 3320/DT die wel zichtbaar was.
 

Want of je ‘t nu over publiek zichtbare bgp doet, of over extern onzichtbare LSP’s via IGP, ‘t is een gevalletje “tomato-tomato” zoals de Amerikanen zo mooi kunnen zeggen.  

 

Ik was voorheen echt supertevreden met Tmobile thuis, maar als ik geen betrouwbaar nationale connectivity in de piekuren heb (wat nu de afgelopen anderhalve week af en aan het geval is), kun je wmb wel 1Gbit of zelfs 10Gbit internet aanbieden, je hebt er echt niks aan als capaciteit via high-latency omwegen of semi-volle uplinks en QoS buffer queuing word ‘opgelost’. Dan heb ik meer aan een 100 of 500Mbit lijntje met een ISP die wel genoeg local capacity heeft. 
 

Ik verwacht helemaal niet dat je naar de hele wereld top capaciteit hebt, maar op nationaal niveau in een land als Nederland zit je gewoon onnodig een netwerk om zeep te helpen door financiele doelen boven netwerk stabiliteit te zetten of zelfs te verslechteren, als er niet genoeg capaciteit in huis is om lokaal traffic te exchangen.  En absoluut, gras bij de buurman is ook niet altijd groener, maar dit is gewoon niet nodig.

 

De prijzen van 10G, 100G en zeer spoedig 400G interfaces en router kaarten zijn nog nooit zo laag geweest, gezien grote cloud providers high-capacity carrier en ISP routers en switch hardware gigantisch op grote schaal omhoog pushen de laatste jaren (nieuwe aankomende hardware releases hebben al 10x de capaciteit per blade van huidige hardware), en het bijplaatsen van nieuwe xconnects in datacenters @ regio Amsterdam is over ‘t algemeen binnen enkele dagen gerealiseerd.

 

Ik zit zelf ook in deze industrie, dus ik weet hoe ‘t er aan beide kanten toe gaat. Het is zorgelijk om te zien wat er met ‘t Nederlands internet aan het gebeuren is op ISP niveau. T-mobile is niet de enige die dit aan ‘t doen is, andere grote partijen doen dit ook, wellicht iets subtieler en slower paced.  

 

De enige pushback die er op dit moment nog is, zijn kleinere ISP’s die nog niet opgeslokt zijn door de KPN’s, VodafoneZiggo’s en T-mobiles in ons land of nog in de startup fase zitten.

Waarom denk je dat een XS4All nu ook aan ‘t verdwijnen is? KPN heeft helemaal geen behoefte aan een apart netwerk met een eigen strategie en connectiviteit. Die wil die eyeballs gewoon in z’n eigen ASN hebben zitten om soortgelijke redenen.

 

Enfin, dit zal zo ongeveer m’n laatste rant zijn waarbij ik hopelijk wat kennis heb kunnen overdragen in m’n posts. Ik verwacht gewoon niet dat met de (middel) langetermijn winst strategie die hier gepland is, we de oude situatie gaan terug krijgen. Het is financieel gewoon niet haalbaar in wat er beoogd is en er zal mogelijk een meer pappen en nathouden balans word behouden waarbij minder mensen klagen.  Dus dan stap ik toch liever over naar een alternatief wat dit (nog?) wel te bieden heeft, ook al is het duurder.

Reputatie 4

Het lijkt mij heel sterk dat er momenteel omwegen via het buitenland plaatsvinden. De theorie dat er buiten zicht van de traceroutes ingrepen plaatsvinden wordt wat mij betreft ontkracht doordat de latentie geleidelijk oploopt en weer afneemt alsmede dat het ook echt op drukke momenten (de avonduren) gebeurt. Overbelasting van een touwtje is wat mij betreft de beste verklaring voor wat we zien.

 

Even een klein stukje netwerktheorie:

  • Stel er komt een pakketje binnen de poort van een switch of router. Als de poort waar het naartoe moet vrij is, dan hoeft de switch niet te wachten tot het hele pakkketje binnen is, de eerste bytes kunnen al op de uitgaande poort verschijnen lang voordat het hele pakketje ontvangen is. Dit heet een "cut-though"-strategie.
  • Als de poort waar het pakketje naartoe moet op het betreffende moment niet vrij is, kan dit natuurlijk niet. De switch of router  schakelt dan over op een zgn. "store & forward"-strategie: Het pakketje wordt eerst ontvangen, even in het geheugen van de switch opgelagen en zodra de uitgaande poort vrij is weer verzonden op de juiste poort.
  • Op het moment dat de buffer van de switch vol is, zal de switch binnenkomende pakketjes weg gaan gooien. Dit is binnen het internetprotocol een manier om met verkeersopstoppingen om te gaan, de zendende machines zullen hierop reageren door de snelheid waarmee verzonden wordt te verlagen. Eventueel kan door middel van een ICMP-pakketje een zendende machine expliciet worden verzocht om minder data te zenden.

Het gedrag wat we zien kan best wel eens consistent zijn met het tweede puntje: Apparatuur die de verbinding tussen T-Mobile en C&W regelt, schakelt over op store & forward, waardoor de latenties omhoog gaan. We zien (nog) weinig pakketverlies dus het derde puntje zal nog niet bereikt worden.

 

 

Reputatie 4

De hoeveelheid peers is toegenomen naar 114:

https://bgp.he.net/AS50266#_peers

Gaat het helpen? We gaan het zodadelijk merken. Voorlopig is alles aangenaam snel.

Reputatie 1

De hoeveelheid peers is toegenomen naar 114:

https://bgp.he.net/AS50266#_peers

Gaat het helpen? We gaan het zodadelijk merken. Voorlopig is alles aangenaam snel.

 

De hoeveelheid peers volgens deze site was 1 november op IPv4 ook al 114. Latency problemen komen door iets anders…..

Reageer