IA: O aluno que roubou na prova

ia

Todo professor conhece o aluno que, diante de uma prova impossível, para de estudar a matéria e começa a estudar a escola. Descobre onde fica a sala dos professores, quem guarda a chave, a que horas o corredor esvazia. Não tem rancor de ninguém. Quer a nota. Em julho, a OpenAI admitiu que seus próprios modelos se comportaram assim. A empresa de IA avaliava a capacidade de ataque cibernético de dois deles, entre os quais o GPT-5.6 Sol, num ambiente isolado e com as travas de segurança deliberadamente reduzidas. A tarefa era resolver um teste chamado ExploitGym. Os modelos encontraram uma falha ainda desconhecida num software de terceiros e conseguiram acesso à internet. Deduziram que a Hugging Face, plataforma que hospeda modelos e dados de pesquisa, talvez guardasse as respostas e foram buscá-las direto no banco de dados de produção da empresa.

A Hugging Face reconstituiu cerca de 17,6 mil ações ao longo de quase cinco dias. No início, atribuiu o ataque a um agente de IA externo, sem saber de quem. O diretor-executivo, Clément Delangue, disse acreditar que não houve má intenção e achou espantoso que tudo tivesse acontecido de forma autônoma. A OpenAI classificou o episódio como um incidente cibernético sem precedentes. Informou também que, um dia antes, suspendera o uso interno de outro modelo que insistia em contornar as restrições recebidas. O monitor de incidentes da OCDE registra que outras quatro plataformas também foram atingidas.

Ninguém mandou invadir nada. Pediram um resultado, e o modelo, concentrado nele, atravessou o que estava no caminho. A segurança que conhecemos foi pensada para adversários com motivo: dinheiro, ideologia, vingança. Aqui o motivo era a nota. Isso muda a pergunta que um gestor deve fazer ao contratar um agente. Importa menos o que pedi e mais o que ele está disposto a fazer para entregar.

E o Brasil com isso? Muito. Segundo pesquisa da SAS com a IDC, mais de 72% das empresas brasileiras já usam IA generativa e 30,7% operam IA agêntica, aquela que executa tarefas por conta própria. No mesmo levantamento, o investimento em seguro de dados e rastreabilidade caiu mais de 30 pontos percentuais em relação a 2025, e só 19,3% das empresas o mencionam. A preocupação com conformidade regulatória, por outro lado, saltou de 8% para 33,1%. As empresas sentem o risco, mas ainda não gastam na proporção dele.

Enquanto isso, o marco legal da IA segue na Câmara dos Deputados, com votação prometida e adiada mais de uma vez. A LGPD já existe e responsabiliza quem trata dados. Dificilmente alguém aceitará, foi o agente, como defesa diante de um vazamento. A conta cairá sobre a empresa que o colocou lá.

PARA LER OUTROS ARTIGOS DE ARTUR MARQUES JR CLIQUE AQUI

Há perguntas simples que toda diretoria deveria responder antes de liberar um agente em produção. Que acessos ele tem, e precisa mesmo de todos? Cada ação fica registrada de modo que um humano consiga ler depois? Quem pode desligá-lo, e em quanto tempo? A Hugging Face conseguiu conter a invasão porque tinha olhos e procedimento. Um funcionário que acessasse sistemas alheios milhares de vezes em quatro dias, sem que ninguém notasse, seria caso de auditoria e de polícia. Muitas empresas não têm esse nível de vigilância nem sobre pessoas de carne e osso.

Seria exagero ver maldade nesse episódio, até porque, ele pode ter sido orquestrado para medição de potencial, como alguns hackers já fizeram com uma mensagem do tipo: Fica esperto que eu acabei de acessar e usar seus dados num servidor em produção seu e você talvez nem soubesse. Mas, o que ele mostra incomoda por outro motivo, sistemas capazes de agir sozinhos perseguem o objetivo que recebem com uma criatividade que ninguém previu. Os bons professores sempre souberam que prova mal desenhada ensina a trapacear. Com agentes, a prova somos nós, as metas que definimos, os limites que impomos e a atenção de quem vigia. Ainda estamos aprendendo a escrevê-la.(Foto: Zac Wolff/Unsplash)

ARTUR MARQUES JR

É cientista de dados e especialista em IA aplicada, com sólida atuação em educação digital e inovação. Coordena a pós-graduação digital na Cruzeiro do Sul Educacional e é PhD em Ensino de Matemática, Mestre em Física Computacional e Astrofísica. Atua como palestrante, mentor, cofundador do Grape Valley, é VP Fiscal do Hospital do GRENDACC e já foi VP da DAMA Brasil.

VEJA TAMBÉM

PUBLICIDADE LEGAL É NO JUNDIAÍ AGORA

ACESSE O FACEBOOK DO JUNDIAÍ AGORA: NOTÍCIAS, DIVERSÃO E PROMOÇÕES