Över 80 % av gatewayerna föll bort och Exchange kunde inte flytta undan

Enligt Microsofts preliminära rapport svarade över 80 % av nätverksgatewayservrarna bakom Exchange Online inte vid avbrottets värsta stund den 12 och 13 november. Servrar som föll bort sköt sin trafik över på friska servrar, som också föll, och inom två timmar syntes felet i hela flottan. Teams, OneDrive och SharePoint kunde flytta bort från den felaktiga infrastrukturen. Exchange Online kunde inte det, så åtkomst till och leverans av e-post drabbades i nästan 24 timmar, enligt The Register och BleepingComputer.

Ett sovande julifel mötte två vanliga händelser

Felet kom med en uppdatering av gatewayservrarna i juli och låg tyst i månader. Det orsakade låskonflikter i en intern Windows-process som tog CPU och minne, och det blev värre på maskiner med fler kärnor. Två händelser utlöste det: Teams växlade över till den gatewayinfrastruktur som betjänar Exchange Online, och nästan 14 % av gatewaykapaciteten var redan nere av annan orsak. Microsoft säger att belastningstesterna missade felet eftersom de kördes på svagare hårdvara än i produktion. En återställning var omöjlig eftersom ändringen var månader gammal, så ingenjörerna byggde en patch.

Bestäm en reservväg för e-post före slutrapporten den 20 november

Microsoft lovar mer kapacitet, bättre övervakning och skydd så att omdirigerad trafik inte åter kan skapa en kedjereaktion, och pausade alla planerade utrullningar. Vänta inte på det. Namnge den väg ert team använder när Exchange Online ligger nere en dag, testa den en gång och läs i avtalet vilka krediter som gäller vid ett så långt avbrott. I EU kräver NIS2 att väsentliga och viktiga entiteter har åtgärder för kontinuitet i verksamheten, och en enda e-postleverantör som man inte kan växla bort från är precis det beroende en revisor frågar efter.