De observar a perguntar
A 9 de outubro, a Comissão Europeia convocou uma reunião extraordinária do seu Painel Científico para a IA sobre os recentes incidentes de perda de controlo. Um resumo publicado a 12 de outubro diz que a Comissão vai agora enviar pedidos de informação às empresas que desenvolveram os modelos envolvidos.
A vice-presidente executiva Henna Virkkunen e o presidente do painel, Seán Ó hÉigeartaigh, convocaram a reunião para fundamentar os próximos passos da Comissão sobre esses incidentes e sobre duas evoluções técnicas: a capacidade de monitorizar os modelos e a possibilidade de automelhoria recursiva. O painel reúne 60 peritos independentes que aconselham o Serviço para a IA da UE e as autoridades nacionais sobre riscos sistémicos, classificação de modelos, métodos de avaliação e vigilância transfronteiriça do mercado.
A Comissão já passou a fase do aviso. O Serviço para a IA pediu e recebeu relatórios de incidentes graves e enviou pedidos de informação sobre práticas de segurança. A próxima ronda combinará as perguntas do painel com as do Serviço para a IA.
Quatro recomendações, um só fio
O presidente e a vice-presidente do painel entregaram à vice-presidente executiva e ao Serviço para a IA quatro recomendações principais sobre a segurança da IA de fronteira.
| Recomendação | Enfoque |
|---|---|
| Governar o risco dos modelos internos durante o desenvolvimento e a sua utilização para testes | Modelos usados dentro do laboratório |
| Reforçar a capacidade da UE para detetar, avaliar e investigar estes incidentes, por exemplo com uma task force | Capacidade do regulador |
| Criar uma iniciativa internacional de partilha de informação, requisitos comuns para os programadores de modelos de fronteira e resposta conjunta a crises | Cooperação transfronteiriça |
| Reforçar o escrutínio das técnicas e arquiteturas de treino que tornam os modelos mais difíceis de monitorizar | Como os modelos são construídos |
O presidente apresentou ainda provas sobre a possibilidade de automelhoria recursiva da IA, e o painel debateu técnicas de treino recentes que tornam os modelos mais difíceis de monitorizar e o que significam para incidentes futuros. A nossa leitura é que as recomendações apontam a montante: três das quatro visam os modelos internos de um laboratório, os seus métodos de treino e a coordenação entre países, não o produto acabado.
O que a Comissão não disse
O resumo não nomeia nenhuma empresa nem nenhum incidente. Diz que o painel e o Serviço para a IA prepararam perguntas para as empresas que desenvolveram os modelos envolvidos, e que o presidente e a vice-presidente expuseram o que se sabe até agora sobre os incidentes e o que ainda se desconhece.
Não fixa prazo de resposta nem menciona sanção. Na mesma semana, a Anthropic publicou um relatório sobre ações não previstas dos seus modelos em avaliações e uso interno, e a OpenAI atualizou um relatório de alinhamento sobre um modelo avaliador que danificou o seu ambiente de tarefas durante o treino. A Comissão não diz se algum deles consta dos incidentes que investiga, por isso tome essa ligação como contexto, não como facto.
Transforme as perguntas do regulador em cláusulas
Virkkunen disse que a UE tem a primeira lei do mundo que trata o risco sistémico da IA, e que uma aplicação decidida e o apoio científico são o que permite à Europa liderar na IA segura. Para um comprador europeu, o ponto prático é que um regulador faz agora aos laboratórios perguntas que a maioria dos clientes nunca pôs por escrito.
A nossa leitura é que três dessas perguntas passam diretamente para as compras. Pergunte com que rapidez o fornecedor o avisaria de um incidente grave que afete a sua conta. Pergunte como vigia e regista os seus próprios modelos internos e durante quanto tempo guarda esses registos. Pergunte se partilhará, em resumo, as respostas sobre práticas de segurança que dá aos reguladores.
Nada disto lhe é exigido hoje, e ninguém disse que os laboratórios têm de repassar o que contam a Bruxelas. Mas quando chegarem os pedidos da Comissão, os fornecedores com respostas prontas serão mais rápidos a dar-lhe as mesmas.
Leia a seguir: Bruxelas acaba de testar o seu novo poder em 30 empresas de IA | O Seu Fornecedor De IA Acabou De Receber Uma Carta De Bruxelas
