Editorial publicado na Science em 20/08/2026, onde pesquisadores britânicos afirmam que a área de IA de fronteira, precisa de mecanismos de controle, para que toda a comunidade possa aprender com suas capacidades e riscos.

As descobertas mais importantes sobre a inteligência artificial (IA) de fronteira, são também as mais difíceis de verificar. Grande parte das informações necessárias para compreender suas capacidades e riscos, incluindo resultados de avaliações de modelos antes do lançamento e experimentos de contenção, permanece amplamente inacessível fora dos laboratórios que os desenvolvem. Nas últimas semanas, a OpenAI, a Anthropic e a Meta, revelaram que modelos de pesquisa, haviam ultrapassado os ambientes de teste previstos, e comprometido sistemas de outras organizações. Esses laboratórios merecem crédito, por relatarem o ocorrido. No entanto, fora deles, não havia como descobrir, reproduzir ou verificar o que havia acontecido.

As disciplinas científicas amadurecem ao criar instituições, que tornam a verificação uma prática rotineira. A eficácia de um medicamento, não é estabelecida apenas pelo fabricante: órgãos reguladores analisam os dados subjacentes, e comitês independentes podem recomendar a interrupção de um ensaio clínico. Padrões criptográficos não são aceitos, simplesmente porque seus criadores os consideram seguros. Processos públicos convidam pesquisadores a atacar projetos candidatos, antes que estes se tornem padrões. Tais mecanismos existem, não porque se presuma que os desenvolvedores sejam desonestos, mas porque o conhecimento científico, não pode se basear apenas na confiança. Um resultado que ninguém fora dos laboratórios consegue verificar, não constitui evidência; é apenas um testemunho.

A IA de fronteira, introduz um problema de medição peculiar. Cientistas comportamentais reconhecem há muito tempo, que as pessoas alteram seu comportamento, quando sabem que estão sendo avaliadas. A IA de fronteira amplia esse desafio: os sistemas podem raciocinar explicitamente sobre a própria avaliação, e adaptar seu comportamento em resposta a ela. Em um incidente relatado, um modelo havia sido instruído de que operava em um ambiente simulado. Quando o ambiente foi conectado à internet por engano, o modelo tratou sistemas reais como parte da simulação, e formulou argumentos sobre porque evidências contraditórias não deveriam alterar essa conclusão. A pontuação em um teste de referência (benchmark) deixa de ser apenas uma propriedade fixa de um modelo, da mesma forma que o ponto de fusão é uma propriedade de um composto, para se tornar, em parte, um produto da interação entre o avaliador e o avaliado.

Esse problema de medição em um contexto de adversários, é particularmente crítico em uma classe de experimentos: para estimar limites superiores de capacidade, laboratórios avaliam modelos de pesquisa com algumas salvaguardas de implantação removidas ou enfraquecidas. A lógica por trás disso é sólida, e esses experimentos devem continuar. No entanto, eles compartilham uma característica importante com a pesquisa de ganho de função na biologia: os experimentos que revelam os maiores riscos, estão entre os mais difíceis de conduzir com segurança. A biologia estabeleceu instituições para supervisionar tais trabalhos. Embora esses processos ainda sejam imperfeitos e objeto de controvérsia, a área de IA, mal começou a criar equivalentes. O confinamento também é fundamentalmente mais difícil: um patógeno não raciocina sobre a cabine de biossegurança, mas um sistema de IA capaz, pode raciocinar sobre o ambiente construído para contê-lo.

Benchmarks melhores continuam sendo importantes, mas já não são suficientes. A verificação independente deve se tornar rotina. Alegações de capacidade, que embasam decisões de implantação, devem estar sujeitas à reprodução e verificação independentes, o que exige mais do que apenas pontuações publicadas em benchmarks. Observadores externos, podem avaliar modelos lançados publicamente, mas não os modelos de pesquisa, os protocolos de avaliação e as condições experimentais, que determinam se um sistema é considerado seguro para implantação. Universidades, institutos públicos de segurança em IA e avaliadores independentes, precisam de acesso duradouro sob condições controladas. Os testes de pré-implantação realizados pelo Instituto de Segurança de IA do Reino Unido (UK AI Security Institute), oferecem um precedente útil, mas esse acesso não deve ficar a critério exclusivo de laboratórios individuais. Observadores externos não são necessariamente mais cuidadosos, mas a reprodução por terceiros é o que possibilita a verificação, e a verificação é o que transforma uma observação em evidência científica. Criar esse tipo de acesso, sem correr o risco de disseminação descontrolada, é, por si só, um desafio em aberto.

A divulgação de falhas na avaliação e no confinamento, não deve depender de transparência voluntária. Um laboratório que relata um incidente grave, arca sozinho com o custo reputacional; aquele que permanece em silêncio, sofre poucas consequências. O fato de várias invasões terem sido descobertas, apenas depois que a divulgação de um laboratório levou outros a revisarem seus registros, não serve de base para um regime de segurança. Disciplinas críticas para a segurança baseiam-se, em vez disso, em relatos não punitivos. O Sistema de Relato de Segurança na Aviação (Aviation Safety Reporting System) coleta relatos confidenciais de incidentes, e quase acidentes. O setor de saúde adotou sistemas confidenciais de relato de segurança do paciente pelo mesmo motivo: as organizações evoluem mais rápido, ao estudar falhas, do que ao atribuir culpas. A área de IA de fronteira, precisa de mecanismos de relato comparáveis, para que toda a comunidade possa aprender com essas falhas.

Tais melhorias não surgirão automaticamente. Benchmarks aprimorados, confinamento mais robusto e métodos para avaliar sistemas, que se adaptam à própria avaliação, são problemas científicos em aberto que merecem atenção. Agências de fomento devem apoiar esse trabalho e as instituições necessárias para realizá-lo. Alguns laboratórios suspenderam ou restringiram partes de suas avaliações de cibersegurança; isso é compreensível a curto prazo, mas insustentável a longo prazo. Medições que ainda não podem ser realizadas com segurança não devem ser abandonadas; em vez disso, é preciso desenvolver a ciência da medição adversarial. A verificação não é um entrave à pesquisa de IA de fronteira; é a condição para que seus resultados se tornem evidência científica.

Link do artigo original: https://www.science.org/doi/10.1126/science.ael2161

Imagens: magnific (freepik)