Over 80 % af gatewayerne faldt ud, og Exchange kunne ikke vige til side
Ifølge Microsofts foreløbige rapport svarede over 80 % af netværksgatewayserverne bag Exchange Online ikke på det værste tidspunkt af nedbruddet den 12. og 13. november. Servere, der faldt ud, skubbede deres trafik over på sunde servere, som også faldt ud, og inden for to timer sås fejlen i hele flåden. Teams, OneDrive og SharePoint kunne flytte væk fra den fejlbehæftede infrastruktur. Exchange Online kunne ikke, så adgang til og levering af mail var ramt i næsten 24 timer, ifølge The Register og BleepingComputer.
En sovende fejl fra juli mødte to almindelige hændelser
Fejlen kom med en opdatering af gatewayserverne i juli og lå stille i månedsvis. Den skabte låsekonflikter i en intern Windows-proces, som brugte CPU og hukommelse, og den blev værre på maskiner med flere kerner. To hændelser udløste den: Teams skiftede over på den gatewayinfrastruktur, der betjener Exchange Online, og næsten 14 % af gatewaykapaciteten var allerede nede af en anden grund. Microsoft siger, at belastningstestene missede fejlen, fordi de kørte på svagere hardware end i produktion. En tilbagerulning var umulig, fordi ændringen var måneder gammel, så ingeniørerne byggede en rettelse.
Aftal en nødvej for mail inden slutrapporten den 20. november
Microsoft lover mere kapacitet, bedre overvågning og sikringer, så omdirigeret trafik ikke igen kan skabe en kædereaktion, og standsede alle planlagte udrulninger. Vent ikke på det. Navngiv den vej, jeres team bruger, når Exchange Online er nede en dag, test den én gang, og læs i kontrakten, hvilke kreditter der gælder ved så langt et nedbrud. I EU kræver NIS2, at væsentlige og vigtige enheder har foranstaltninger til driftskontinuitet, og én mailleverandør, man ikke kan vige uden om, er netop den afhængighed, en revisor spørger til.
Læs videre: Microsoft 365 Family: seks brugere fra 6 til 2 TB | Hollandsk skattemyndighed forlader Microsoft 365



