article

MIT usa IA para editar pesos de outra rede neural

3 min de leitura

🎬 Assista esta matéria

Um grupo do MIT CSAIL publicou em 2 de novembro de 2026 um trabalho que inverte a forma usual de melhorar um modelo de linguagem. Em vez de treinar, os pesquisadores pediram a um modelo de fronteira que lesse os pesos de outra rede neural e escrevesse edições diretamente nesses números — sem gradiente, sem laço de treinamento.

Os autores Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab chamam a técnica de “weight-space programming” (programação no espaço de pesos). Os testes foram feitos com o GPT-6 Astra, da OpenAI, operando sobre modelos abertos.

Os números do experimento

O caso principal usou o Qwen3.5-0.8B, modelo aberto de 800 milhões de parâmetros. Após a edição, a nota no MATH-500 saltou de 7,9% para 48,1%. No GSM8K, de 13,8% para 67,1%. No IFEval, de 21,0% para 62,3%.

A edição mais eficaz alterou cerca de 0,016% dos pesos do modelo: 131.072 números, concentrados nas camadas 15 e 19. O patch removeu uma direção numérica associada à repetição. A pista está em outro número: a proporção de respostas do MATH-500 que batiam no limite de tokens caiu de 93,0% para 33,1%.

Em outro teste, o modelo editou 3,5% dos pesos de um controlador de direção simulado que falhava sempre e o levou a 100% de sucesso. No ambiente de jogos MinAtar, a rede de Breakout escrita pelo Astra marcou 517,4 pontos, contra 25,3 de uma rede treinada por PPO com 500 milhões de passos.

Os pesos foram entregues ao modelo como texto em parte dos experimentos e, em outros, via ambiente Python controlado, com problemas de prática, testes e orçamento limitado de execuções.

O que o trabalho não mostra

Os próprios autores delimitam o alcance. O ganho em matemática veio sobretudo de cortar repetição, não de inserir conhecimento matemático novo. No Gemma 3 de 270 milhões de parâmetros não houve melhora comprovada em matemática. Uma tentativa de reduzir bajulação falhou quando o modelo tinha acesso apenas aos pesos, só funcionando com medições de atenção durante a execução.

Também não houve comparação direta com treinamento convencional, nem demonstração de um ciclo de auto-aperfeiçoamento recursivo — a hipótese de que os ganhos se acumulariam a cada rodada não foi testada. Custo, velocidade e generalização seguem em aberto, e a reprodução independente ainda não aconteceu.

A equipe liberou logs e artefatos das edições e diz estar desenvolvendo um benchmark e um framework para a técnica.

Fontes: VentureBeat · Analytics India Magazine · DataCamp

🎙️ Gostou? Receba só o que te interessa, todo dia

Escolha seus temas e receba um briefing diário em áudio e texto, de graça, no WhatsApp ou e-mail.

Montar meu briefing grátis