Et hul i Copilot lækkede virksomhedens data uden klik

En medarbejder åbner en webside. Mere skal der ikke til.

En medarbejder i en mellemstor virksomhed er logget ind på Microsoft Copilot Personal, ligesom de fleste medarbejdere er i dag, i det mindste en del af arbejdsdagen. Hun åbner en webside, som nogen har sendt hende, eller et delt dokument, der ligger og venter blandt andre filer i hendes indbakke. Hun læser et afsnit, lukker fanen og går videre. Intet ved siden virker mistænkeligt. Hun klikker ikke på noget link i den, downloader intet og indtaster ingen adgangskode nogen steder.

Den ene handling, at åbne siden, er hele angrebet. Sikkerhedsforskningsfirmaet Varonis fandt ud af, at en skjult prompt indlejret i tilsyneladende almindeligt indhold er nok til at få Copilot til at handle efter en angribers instruktioner, så snart den læser dette indhold, inden for den session, hun allerede har åben. Varonis døbte fejlen SearchLeak og offentliggjorde den sammen med to andre sårbarheder i Copilot Personal.

To kædede fejl giver fuld adgang til data

SearchLeak-kæden kombinerer to adskilte svagheder. For det første udformer en angriber en webside eller et dokument med en skjult, ondsindet prompt, skrevet så den ligner almindelig tekst eller metadata frem for en instruktion. For det andet udføres den skjulte prompt automatisk inden for den godkendte session, når et offer, der allerede er logget ind på Copilot, besøger siden eller åbner dokumentet. Intet yderligere klik, ingen bekræftelsesdialog og ingen anden advarsel står mellem sidens indlæsning og udførelsen af prompten.

Når prompten kører med hendes autoritet, beder den Copilot om at forespørge alt, offeret allerede har givet den adgang til: hendes e-mail, hendes filer og enhver tredjepartsapp, der er forbundet med hendes konto. Copilot beder hende ikke om at bekræfte dette, fordi det fra sit eget synspunkt blot udfører en instruktion inden for en legitim, allerede godkendt session.

Det sidste trin er dataeksfiltrering, og også her leverer Copilot selv værktøjet. Ved hjælp af sin egen indbyggede evne til at hente URL'er sender den kompromitterede assistent de indsamlede data til en webhook, som angriberen styrer. Offerets session, hendes tilladelser og Copilots egne funktioner arbejder præcis som tiltænkt. Intet i den kæde kræver, at hun begår en fejl.

En anden dør: at forgifte Copilots hukommelse

Varonis afslørede en tredje, separat fejl ved siden af SearchLeak-kæden, tilgængelig via Copilots funktion til at opsummere websider. I stedet for at eksfiltrere data i ét hug lader denne vej en angriber plante falsk eller manipuleret information i det, Copilot husker om en bruger, og forgifter dermed hukommelsen via indhold, som assistenten bliver bedt om at opsummere.

Det betyder noget, fordi det gør en enkelt ondsindet webside til et vedvarende problem frem for en engangshændelse. En assistents hukommelse skal gøre den mere nyttig over tid ved at bære kontekst fra en session til den næste. En forgiftet hukommelse bærer en angribers indflydelse mellem sessioner på præcis samme måde, længe efter at siden, der plantede den, er lukket.

Hvorfor dette ikke er phishing

Traditionel phishing bygger på at narre en person: klik på dette link, indtast din adgangskode her, godkend dette login. Sikkerhedstræning findes for at fange netop det øjeblik af menneskelig beslutning. SearchLeak har ikke det øjeblik. Offeret klikkede ikke på noget ondsindet link, indtastede ingen loginoplysninger og så intet, der lignede en advarsel at ignorere.

Angrebet udløses, når AI-assistenten læser indhold, ikke når mennesket klikker på noget. Det er en helt anden udløser, som ligger uden for alt det, træningen i 'klik ikke på mistænkelige links' var bygget til at forhindre. En medarbejder, der havde gjort alt rigtigt efter enhver eksisterende standard, kunne stadig have udløst denne kæde blot ved at åbne en fil, hun havde fået tilsendt.

Her ligger kernen i den nye risiko. En AI-copilot med allerede godkendt, fast adgang til en persons e-mail, filer og forbundne apps bliver til et enkelt kompromitteringspunkt i det øjeblik, den kan lokkes til at følge instruktioner skjult i indhold, den blot læser. Netop det, der gør assistenten nyttig, at den kan handle på dine vegne uden at du skal godkende hvert trin igen, er den egenskab, der gør angrebet muligt.

Hvad virksomheder i EU og Storbritannien reelt bør tjekke

Microsoft vurderede SearchLeak som kritisk og har allerede rettet den, så den konkrete fejl beskrevet her er lukket. Det er en god nyhed, og ikke grunden til at læse videre. Mønsteret, den tilhører, prompt-injektion via indhold, en AI-assistent optager passivt, i stedet for indhold, et menneske aktivt klikker på, forsvinder ikke, og det vil dukke op igen hos en anden forbundet assistent med en anden udløser.

For enhver virksomhed, der nu udruller Microsoft 365 Copilot eller en tilsvarende forbundet AI-assistent, er den nyttige øvelse ikke kun at træne medarbejdere i at spotte mistænkelige links. Det handler om at spørge, hvad den assistent kan lokkes til med den adgang, den allerede har, og behandle 'prompt-injektion via passivt optaget indhold' som et selvstændigt punkt i risikovurderinger af leverandører. Fordi den faste adgang typisk berører personoplysninger, hører dette også hjemme i konsekvensanalyser af databehandling under GDPR, ikke kun i IT-sikkerhedens efterslæb.

Læs videre: Frankrigs skattevæsen er fritaget for sine egne GDPR-bøder  |  Skjult AI-tankegang lækker via billigere søstermodeller