Från att se på till att fråga
Den 9 oktober sammankallade Europeiska kommissionen ett särskilt möte med sin vetenskapliga AI-panel om de senaste incidenterna med kontrollförlust. En sammanfattning som publicerades den 12 oktober säger att kommissionen nu skickar begäranden om information till de företag som utvecklade de berörda modellerna.
Exekutiv vice ordförande Henna Virkkunen och panelens ordförande Seán Ó hÉigeartaigh kallade till mötet för att underbygga kommissionens nästa steg kring dessa incidenter och två tekniska utvecklingar: hur väl modeller går att övervaka och möjligheten till rekursiv självförbättring. Panelen samlar 60 oberoende experter som rådgör med EU:s AI-kontor och nationella myndigheter om systemrisker, modellklassificering, utvärderingsmetoder och gränsöverskridande marknadsövervakning.
Kommissionen har redan gått förbi varningsstadiet. AI-kontoret har begärt och fått in rapporter om allvarliga incidenter och skickat begäranden om information om säkerhetsrutiner. Nästa omgång kombinerar panelens frågor med AI-kontorets egna.
Fyra rekommendationer, en röd tråd
Panelens ordförande och vice ordförande gav den exekutiva vice ordföranden och AI-kontoret fyra huvudrekommendationer om säkerheten kring avancerad AI.
| Rekommendation | Fokus |
|---|---|
| Styra risken med interna modeller under utveckling och vid driftsättning för tester | Modeller som används inne i labbet |
| Stärka EU:s förmåga att upptäcka, bedöma och utreda sådana incidenter, till exempel med en insatsstyrka | Tillsynens kapacitet |
| Inrätta ett internationellt initiativ för informationsutbyte, gemensamma krav på utvecklare av avancerade modeller och gemensam krishantering | Gränsöverskridande samarbete |
| Skärpa granskningen av träningsmetoder och arkitekturer som gör modeller svårare att övervaka | Hur modeller byggs |
Ordföranden presenterade också belägg för möjligheten till rekursiv självförbättring hos AI, och panelen diskuterade nyare träningsmetoder som gör modeller svårare att övervaka och vad de betyder för framtida incidenter. Vår läsning är att rekommendationerna pekar uppströms: tre av fyra riktar sig mot ett labbs interna modeller, dess träningsmetoder och samordningen över gränser, inte mot den färdiga produkten.
Vad kommissionen inte har sagt
Sammanfattningen nämner inget företag och ingen incident. Den säger att panelen och AI-kontoret har arbetat fram frågor till de företag som utvecklade de berörda modellerna, och att ordföranden och vice ordföranden redogjorde för vad som hittills är känt om incidenterna och vad som ännu är okänt.
Den sätter ingen tidsfrist för svar och nämner ingen sanktion. Samma vecka publicerade Anthropic en rapport om oavsiktliga modellhandlingar i utvärderingar och intern användning, och OpenAI uppdaterade en alignmentrapport om en bedömande modell som skadade sin uppgiftsmiljö under träning. Kommissionen säger inte om någon av dem hör till de incidenter den utreder, så se kopplingen som bakgrund och inte som faktum.
Gör tillsynens frågor till avtalsvillkor
Virkkunen sa att EU har världens första lag som tar itu med systemrisk från AI, och att beslutsam tillämpning och vetenskapligt stöd är det som låter Europa leda i säker AI. För en europeisk köpare är den praktiska poängen att en tillsynsmyndighet nu ställer labb frågor som de flesta kunder aldrig har skrivit ner.
Vår läsning är att tre av dem går rakt in i inköpet. Fråga hur snabbt leverantören skulle underrätta er om en allvarlig incident som berör ert konto. Fråga hur den övervakar och loggar sina egna interna modeller och hur länge den sparar loggarna. Fråga om den i sammandrag delar de svar om säkerhetsrutiner som den ger till tillsynsmyndigheter.
Inget av detta krävs av er i dag, och ingen har sagt att labben måste föra vidare vad de berättar för Bryssel. Men när kommissionens begäranden landar kan leverantörer med färdiga svar snabbare ge er samma.
Läs vidare: Bryssel har just testat sin nya befogenhet på 30 AI-företag | Din AI-Leverantör Fick Just Post Från Bryssel
