Ponad 80 % bramek padło, a Exchange nie mógł się usunąć

Według wstępnego raportu Microsoftu w najgorszym momencie awarii z 12 i 13 listopada ponad 80 % serwerów bramek sieciowych za Exchange Online nie odpowiadało. Padające serwery spychały ruch na zdrowe, które też padały, a w ciągu dwóch godzin błąd objął całą flotę. Teams, OneDrive i SharePoint mogły opuścić wadliwą infrastrukturę. Exchange Online nie mógł, więc dostęp do poczty i jej dostarczanie szwankowały prawie 24 godziny, według The Register i BleepingComputer.

Uśpiony lipcowy błąd spotkał dwa zwykłe zdarzenia

Błąd przyszedł z lipcową aktualizacją serwerów bramek i przez miesiące milczał. Powodował rywalizację o blokady w wewnętrznym procesie Windows, która zjadała procesor i pamięć, i nasilał się na maszynach z większą liczbą rdzeni. Uruchomiły go dwa zdarzenia: Teams przełączył się na infrastrukturę bramek obsługującą Exchange Online, a prawie 14 % mocy bramek było już wyłączone z innego powodu. Microsoft mówi, że testy obciążeniowe nie wychwyciły błędu, bo szły na słabszym sprzęcie niż produkcja. Cofnięcie zmiany było niemożliwe, bo miała miesiące, więc inżynierowie zbudowali poprawkę.

Ustal awaryjną drogę dla poczty przed raportem końcowym z 20 listopada

Microsoft obiecuje więcej mocy, lepszy monitoring i zabezpieczenia, by przekierowany ruch nie wywołał znów kaskady, i wstrzymał wszystkie planowane wdrożenia. Nie czekaj na to. Nazwij drogę, z której korzysta Twój zespół, gdy Exchange Online leży przez dobę, sprawdź ją raz i przeczytaj w umowie, jakie kredyty przysługują przy tak długiej awarii. W UE dyrektywa NIS2 wymaga od podmiotów kluczowych i ważnych środków ciągłości działania, a jeden dostawca poczty, którego nie da się obejść, to dokładnie ta zależność, o którą zapyta audytor.