Invasões feitas por ia reforçam apelo por segurança

A notícia de que dois modelos de inteligência artificial (IA) da OpenAI escaparam de um ambiente controlado e invadiram o sistema de outra empresa, além de acessar contas em outras quatro, acendeu um alerta no setor de tecnologia. A própria OpenAI classificou o ataque como "sem precedentes", o que gerou questionamentos sobre a capacidade humana de controlar a IA, bem como apelos por maior governança e segurança.
O primeiro comunicado, divulgado pela empresa no último dia 21, informava que os modelos haviam comprometido a infraestrutura da plataforma Hugging Face durante uma avaliação interna de cibersegurança. Na terça-feira, a OpenAI comunicou que, no caminho até essa startup, os sistemas também usaram credenciais expostas publicamente para acessar quatro contas em outros serviços. Uma delas era a conta de um cliente na provedora de nuvem Modal.
O incidente começou a partir de testes internos para medir até onde os modelos mais avançados da OpenAI " entre eles o GPT-5.6 Sol e outro ainda não lançado " seriam capazes de executar operações cibernéticas ofensivas. Os testes ocorreram em ambiente isolado, sem internet, chamado sandbox, com o desafio de resolver uma prova interna chamada ExploitGym.
Como não conseguiram a resposta no sandbox, eles passaram a procurar uma forma de sair dele. Encontraram, então, uma falha inédita em um software da empresa, escaparam do ambiente controlado e acessaram a internet.
" O objetivo era obter uma nota alta em um teste, mas ninguém especificou que "roubar o gabarito" não era permitido. Em vez de resolver o problema da forma esperada pelos humanos, a IA encontrou um caminho alternativo " explica Matheus Garcia, diretor de IA na StartSe.
Para Garcia, o grande problema não é o número de plataformas envolvidas ter passado de uma para cinco. O mais relevante, diz, é que a vulnerabilidade foi identificada antes que os responsáveis pelo agente percebessem o problema.
RSI, o próximo desafio?
Marcelo Branquinho, CEO da empresa de cibersegurança TI Safe, ressalta que o caso é mais sobre as falhas na forma como esses sistemas são supervisionados do que sobre uma suposta "vontade própria" da inteligência artificial:
" Isso mostra as limitações dos mecanismos de contenção e supervisão.
A principal preocupação, diz Branquinho, é com o possível aumento na escala e velocidade dos ataques cibernéticos a partir de agentes de IA.
Garcia afirma que o problema não é necessariamente um agente invadir um banco, mas um agente autorizado pelo banco realizar ações indevidas em poucos minutos, sem que ninguém esteja monitorando:
" A principal lição é que o risco não está em uma IA "fora de controle", mas no agente que a própria empresa autorizou a operar e que deixou de auditar. Estamos colocando agentes dentro das organizações sem estabelecer mecanismos adequados de monitoramento, gestão e controle.
O episódio ocorre em um momento em que parte da indústria discute a possibilidade de a IA se aproximar do chamado autoaperfeiçoamento recursivo (recursive self-improvement, ou RSI), estágio em que a tecnologia seria capaz de conceber sozinha sua sucessora, em uma sequência que poderia se repetir até o infinito.
O RSI dificultaria as verificações e a avaliação de novos modelos por parte de especialistas humanos, já que os desenvolvedores não teriam participado diretamente da criação dessas novas versões.
Controlar o ritmo
Para Branquinho, esse cenário ainda está longe:
" Os modelos atuais conseguem auxiliar no desenvolvimento de software e automatizar parte do processo de engenharia, mas isso é muito diferente de projetar, validar e substituir autonomamente gerações inteiras de modelos de IA " explica. " Mostra, porém, que os agentes estão adquirindo maior capacidade de planejamento, adaptação e autonomia operacional, o que exige investimentos cada vez maiores em governança, validação e mecanismos de segurança.
Garcia concorda:
" O que aconteceu foi um agente encontrando uma forma de "colar na prova", não uma demonstração de que ele seja capaz de desenvolver autonomamente uma nova IA.
O episódio reforça o alerta feito por funcionários, pesquisadores e até CEOs das principais empresas de IA esta semana: é preciso criar um organismo que controle o ritmo de desenvolvimento da tecnologia, para que a sociedade possa se preparar.