🎬 Assista esta matéria
A consultoria SemiAnalysis publicou em 2 de novembro o GDPx, um benchmark que tenta medir o que os modelos de fronteira conseguem fazer nas atividades econômicas de maior retorno — e o resultado é duro: o melhor modelo testado fica em torno de 12% de acerto.
O trabalho é assinado por Max Kan, Andrew Megalaa e Dylan Patel. A proposta declarada é substituir avaliações que, segundo os autores, já não medem agentes: eles criticam o GDPval, da OpenAI, por usar tarefas não interativas e sem ambiente realista.
Como o teste é montado
O GDPx cobre 11 domínios: projeto de chips, cibersegurança, biologia, finanças, jurídico, trading quantitativo, auto-aprimoramento recursivo, projeto de hardware, ciência dos materiais, alinhamento e engenharia de software. Governo, imóveis e seguros ficaram deliberadamente de fora.
As tarefas foram construídas com 14 parceiros especializados em ambientes de aprendizado por reforço, com revisão automatizada e manual. O ponto central é o ambiente: em finanças, por exemplo, o agente trabalha dentro de uma sala de dados com cerca de 2.000 arquivos, em vez de receber todo o contexto no prompt.
Cada tarefa tem limite padrão de oito horas. Os modelos rodam no próprio arcabouço de agente, quando existe, ou no OpenCode. A nota principal é pass@1 em três tentativas, com peso igual entre domínios.
Quem ganha onde
O Claude Opus 5.5 aparece como o modelo mais completo e lidera trading quantitativo, projeto de hardware e projeto de chips. O GPT-6 Astra vence em auto-aprimoramento recursivo e ciência dos materiais — na tarefa de ECO em projeto de chips, da Ergodex, marcou média de 0,34 contra 0,135 do Opus. O Gemini 4 Carbon é apontado como o melhor em biologia e leva engenharia de software por pouco.
Dois achados merecem atenção de quem escolhe modelo para produção.
O primeiro é o efeito dos classificadores de segurança. Os autores afirmam que as notas gerais de Opus 5.5 e GPT-6 Astra ficam deprimidas por recusas, e que excluir cibersegurança, biologia e alinhamento muda o ranking. É um fator que eles consideram subestimado na hora de decidir qual modelo usar.
O segundo é a irregularidade. Os modelos são descritos como “espinhosos”: fortes em domínios específicos, fracos logo ao lado.
Finanças e jurídico em zero
No critério binário de aprovação, praticamente todos os modelos tiram exatamente zero em finanças e jurídico. Por isso o relatório passou a reportar crédito parcial nesses dois domínios.
Na tarefa jurídica da Chakra, o Opus 5.5 teve média de 44% de crédito parcial, contra 25% do Astra e 2% do Gemini 4 Argon. Na tarefa financeira da Living Context, o GPT 6.1 Sol cumpriu 5,6 de 11 checagens, com Opus 5.5 e Astra em 5,4.
Na relação entre custo e desempenho, os autores colocam Luna e DeepSeek na ponta barata, o Opus na ponta caríssima e os modelos da OpenAI no meio.
Fontes: SemiAnalysis
🎙️ Gostou? Receba só o que te interessa, todo dia
Escolha seus temas e receba um briefing diário em áudio e texto, de graça, no WhatsApp ou e-mail.
Montar meu briefing grátis