22 March 2017

AMS-IX kiest nieuwe generatie switch-hardware

Blogpost-image_paper-3

In september 2016 schreef ik over de vervanging van de core-switches in het AMS-IX netwerk in Amsterdam. Ik schreef toen dat we de Brocade SLX 9850 hadden gekozen en dat we naar verwachting in het vierde kwartaal van 2016 met de implementatie zouden kunnen beginnen.

De implementatie liep om verschillende redenen enige vertraging op maar in de laatste week van januari konden we een van vier core-switches migreren van een MLXe-32 naar de SLX 9850.

Het onderstaande schema geeft de initiële topologie van het netwerk weer:

Picture1

Er zijn drie sets core (P) routers: een in het Eunetwork datacenter, een in de Global Switch en twee verdeeld over Equinix AM2 en het vroegere Telecity AM5. Elk van de core-routers is een MLXe-32 met een bezettingsgraad van ruim 50 100GE poorten (van totaal 64). De onderste rij switches is een paar toegangsswitches in elk datacenter waar AMS-IX haar diensten levert. Het extra paar core-routers bij Equinix AM2 en Equinix AM5 (het vroegere Telecity AM5) is gebouwd om de core-switches bij Eunetworks en Global Switch te ontlasten. Deze switches zaten aan de limiet van 64 100GE interfaces voor verbinding met alle edge-switches.

Bij de introductie van de nieuwe SLX 9850 op het netwerk hebben we de volgende procedure aangehouden:

  1. Nieuwe switch installeren
  2. Een aantal dagen proefdraaien over alle interfaces (snake)
  3. Een verbinding (LSP’s) definiëren tussen edge (PE) switches die naar de nieuwe hardware worden gemigreerd
  4. De PE-to-PE verbindingen overzetten naar de back-up verbindingen
  5. De fysieke verbinding van de EUN 302 P router overzetten naar de nieuwe EUN 206 P router
  6. De geselecteerde PE-to-PE verbindingen herdefiniëren om via de nieuwe P-router te lopen
Picture2

De bovenstaande afbeelding toont een tussenfase waar een aantal fysieke verbindingen al is overgezet.

Uiteindelijk waren alle verbindingen overgezet naar de nieuwe EUN 306 P router en konden we de oude EUN 302 MLXe-32 core-router verwijderen.

Picture3

In het verkeersdiagram waarop het verkeer van alle interfaces op de nieuwe EUN 306 SLX 9850 P router wordt weergegeven is goed zichtbaar dat het verkeer tijdens twee weken dat de migratie duurde toenam terwijl we steeds meer verbindingen naar de nieuwe switch migreerden.

Tijdens de initiële migratie gingen we zeer zorgvuldig te werk omdat er niet veel ervaring was met de SLX 9850, met uitzondering van alle testen die we hebben uitgevoerd. De ervaringen waren echter goed en we kwamen in het geheel geen problemen tegen die van invloed waren op de service in de drie weken dat de switch nu operationeel is en 1.6 Tbps aan dataverkeer verwerkt.

Picture4

In de laatste week van februari en begin maart zullen we de overige drie switches bij Eunetworks en Global Switch migreren. Wanneer dit volledig met succes is afgerond, zullen de core-routers bij Equinix AM2 en AM5 (het vroegere Telecity AM5) verwijderen. Het uiteindelijke netwerk zoals we dat in de zomer van 2017 geïmplementeerd willen hebben, komt er als volgt uit te zien:

Picture5

Met deze migratie bereiken we een aantal belangrijke doelen:

  1. Aanzienlijke reductie van de netwerkcomplexiteit
  2. Belangrijke verhoging van de schaalbaarheid van de netwerk core door de implementatie van de SLX9850
    a. Verhoging met een factor 4 van het aantal of 100GE interfaces
    b. Aanzienlijk minder beslag op de ruimte en lager energieverbruik wat een verdere opschaling in dezelfde footprint mogelijk maakt
  3. Kostenbesparing door twee core-sites minder
    a. Lagere operationele kosten door minder ruimtebeslag en energieverbruik
  4. Kostenbesparing door efficiënter gebruik van de dark fiber infrastructuur tussen de core- en de toegangsswitches
Met deze ontwikkeling hebben we onze infrastructuur op de toekomst voorbereid. Niet alleen ter ondersteuning van onze aanhoudende groei maar ook om tegemoet te komen aan de behoefte aan meer bandbreedte, het toenemende dataverkeer te beheren, meer 100G poorten te bieden (zoals we in 2016 deden) en om onze activiteiten efficiënter uit te voeren en een kostenverlaging te realiseren. Wij staan er borg voor dat deze ontwikkelingen in lijn zijn met onze standaarden en eisen zoals u van AMS-IX gewend bent.

Henk Steenman, CTO AMS-IX