article

Novo benchmark GDPx: melhor IA acerta só 12% das tarefas

3 min de leitura

🎬 Assista esta matéria

A consultoria SemiAnalysis publicou em 2 de novembro o GDPx, um benchmark que tenta medir o que os modelos de fronteira conseguem fazer nas atividades econômicas de maior retorno — e o resultado é duro: o melhor modelo testado fica em torno de 12% de acerto.

O trabalho é assinado por Max Kan, Andrew Megalaa e Dylan Patel. A proposta declarada é substituir avaliações que, segundo os autores, já não medem agentes: eles criticam o GDPval, da OpenAI, por usar tarefas não interativas e sem ambiente realista.

Como o teste é montado

O GDPx cobre 11 domínios: projeto de chips, cibersegurança, biologia, finanças, jurídico, trading quantitativo, auto-aprimoramento recursivo, projeto de hardware, ciência dos materiais, alinhamento e engenharia de software. Governo, imóveis e seguros ficaram deliberadamente de fora.

As tarefas foram construídas com 14 parceiros especializados em ambientes de aprendizado por reforço, com revisão automatizada e manual. O ponto central é o ambiente: em finanças, por exemplo, o agente trabalha dentro de uma sala de dados com cerca de 2.000 arquivos, em vez de receber todo o contexto no prompt.

Cada tarefa tem limite padrão de oito horas. Os modelos rodam no próprio arcabouço de agente, quando existe, ou no OpenCode. A nota principal é pass@1 em três tentativas, com peso igual entre domínios.

Quem ganha onde

O Claude Opus 5.5 aparece como o modelo mais completo e lidera trading quantitativo, projeto de hardware e projeto de chips. O GPT-6 Astra vence em auto-aprimoramento recursivo e ciência dos materiais — na tarefa de ECO em projeto de chips, da Ergodex, marcou média de 0,34 contra 0,135 do Opus. O Gemini 4 Carbon é apontado como o melhor em biologia e leva engenharia de software por pouco.

Dois achados merecem atenção de quem escolhe modelo para produção.

O primeiro é o efeito dos classificadores de segurança. Os autores afirmam que as notas gerais de Opus 5.5 e GPT-6 Astra ficam deprimidas por recusas, e que excluir cibersegurança, biologia e alinhamento muda o ranking. É um fator que eles consideram subestimado na hora de decidir qual modelo usar.

O segundo é a irregularidade. Os modelos são descritos como “espinhosos”: fortes em domínios específicos, fracos logo ao lado.

Finanças e jurídico em zero

No critério binário de aprovação, praticamente todos os modelos tiram exatamente zero em finanças e jurídico. Por isso o relatório passou a reportar crédito parcial nesses dois domínios.

Na tarefa jurídica da Chakra, o Opus 5.5 teve média de 44% de crédito parcial, contra 25% do Astra e 2% do Gemini 4 Argon. Na tarefa financeira da Living Context, o GPT 6.1 Sol cumpriu 5,6 de 11 checagens, com Opus 5.5 e Astra em 5,4.

Na relação entre custo e desempenho, os autores colocam Luna e DeepSeek na ponta barata, o Opus na ponta caríssima e os modelos da OpenAI no meio.

Fontes: SemiAnalysis

🎙️ Gostou? Receba só o que te interessa, todo dia

Escolha seus temas e receba um briefing diário em áudio e texto, de graça, no WhatsApp ou e-mail.

Montar meu briefing grátis