🎬 Assista esta matéria
A japonesa Sakana AI publicou em 8 de outubro de 2026 um artigo que muda a pergunta feita aos revisores automáticos de pesquisa científica. Em vez de medir se o modelo escreve um parecer parecido com o de um humano, o trabalho mede se ele encontra o erro. O preprint “Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review” está no arXiv sob o código 2610.11087, assinado por Rachel S. Y. Teo, Yutaro Yamada, Shashank Kotyan, Yuki Imajuku e Tarin Clanuwat.
A motivação é o volume. O número de submissões a conferências de aprendizado de máquina cresceu a ponto de pressionar o sistema de revisão por pares, e os assistentes de IA vinham sendo avaliados por imitação de estilo — algo que não diz nada sobre utilidade real.
Como o teste foi montado
Os pesquisadores construíram o Contradiction Benchmark: 1.164 variantes de 257 artigos publicados em ACL, AISTATS, CVPR e ICML de 2025 e na NeurIPS de 2024, restritos a licenças Creative Commons permissivas. O Gemini 2.5 Pro montou grafos de conhecimento de cada texto, o GPT-4.1 reescreveu trechos para contradizer esses grafos e um juiz baseado no modelo o3 avaliou, ao longo de dez rodadas, se o parecer gerado apontou a contradição.
Do lado do revisor, a Sakana propôs o Multi-Layered Review (MLR), com três papéis distintos: um agente de apêndice (Claude Haiku 3.5) resume detalhes de implementação e experimentos; um agente de revisão de literatura (Claude Sonnet 4 com busca na web) confere alegações de novidade; e o agente revisor (Claude Sonnet 4) lê o corpo do texto em três passagens antes de escrever forças, fraquezas, perguntas, nota e recomendação.
Na detecção de erros na alegação central do artigo, um conjunto de quatro pareceres do MLR acertou 73,43% dos casos. Um parecer isolado ficou em 60,79%. Os sistemas concorrentes ficaram muito atrás: 35,40% para o LLM-Review com Claude Sonnet 4, 14,81% para o AgentReview e 11,17% para o AI Reviewer. Considerando erros de todas as gravidades, o MLR marcou 40,95% contra algo entre 5,95% e 6,50% dos demais.
O teto aparece nos artigos reais
O próprio estudo é franco sobre os limites. Em 211 artigos efetivamente retirados do arXiv, o MLR identificou o problema documentado em apenas 16,11% dos casos — 26,07% sob um critério mais frouxo de semelhança. É melhor que o concorrente mais forte (9% e 18,48%), mas longe dos números do benchmark sintético. A base de retratações é dominada por matemática e física teórica, áreas diferentes daquelas para as quais os sistemas foram desenhados.
Há ainda uma vulnerabilidade incômoda: injeção de prompt afetou todos os quatro sistemas testados, e o MLR identificou explicitamente a manipulação escondida no texto em apenas 8 de 50 artigos. Os erros inseridos também não são perfeitos — em uma amostra de 50, 34% não tinham fluidez com as frases vizinhas. Dados e código são fornecidos sob solicitação, não em repositório público.
Fontes: arXiv 2610.11087 · Remio · FourWeekMBA
🎙️ Gostou? Receba só o que te interessa, todo dia
Escolha seus temas e receba um briefing diário em áudio e texto, de graça, no WhatsApp ou e-mail.
Montar meu briefing grátis