article

MIT usa IA para editar pesos de outro modelo

3 min de leitura

🎬 Assista esta matéria

Pesquisadores do CSAIL, o laboratório de computação e inteligência artificial do MIT, publicaram na segunda-feira (2) um trabalho em que um modelo de linguagem pronto lê os pesos de outra rede neural, diagnostica o que está errado e escreve a correção direto nos parâmetros — sem treinar nada.

Os autores Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab chamam a técnica de “programação no espaço de pesos” (weight-space programming). No experimento principal, o GPT-6 Astra, da OpenAI, foi o modelo “editor”; o alvo foi o Qwen3.5-0.8B, um modelo aberto pequeno com licença Apache 2.0.

O que mudou nos números

A edição final alterou 131.072 pesos em componentes das camadas 15 e 19 — cerca de 0,016% do modelo. Os resultados reportados pela equipe:

O ganho, porém, tem uma explicação específica, e os próprios autores fazem a ressalva: o Qwen3.5-0.8B sofria de repetição. Ele entrava em loop e estourava o limite de tokens em 93% das respostas do MATH-500. Depois da edição, isso caiu para 33,1%. O que o Astra encontrou e removeu foi uma direção numérica ligada a essa repetição — não houve injeção de conhecimento matemático novo.

O processo também não foi barato em tempo humano nem em computação: a tentativa mais bem-sucedida consumiu 50 pedidos de avaliação, 158 turnos de conversa, 80 execuções de Python e 20,3 horas no total, incluindo 4,7 horas de espera por uma instabilidade de serviço.

Onde o método falhou

O artigo traz resultados negativos explícitos. No Gemma 3 270M, a mesma abordagem não produziu melhora em matemática — o modelo não tinha o problema de repetição, e seus erros eram contas e passos algébricos errados, sem um componente único para desligar.

Em outro teste, o Astra não conseguiu distinguir um modelo treinado para concordar com o usuário de um treinado para acertar, e só teve sucesso depois que os pesquisadores forneceram medições de atenção durante a execução.

A equipe também fez o modelo identificar quatro redes que jogavam Breakout, Pong, Pac-Man e Freeway apenas olhando os pesos, com arquiteturas idênticas e sem lista de opções — e acertou os quatro. Em um ambiente MinAtar, uma rede construída pelo Astra marcou 517,4 pontos no Breakout, acima de uma rede treinada com PPO por 500 milhões de passos, que fez 25,3.

O estudo não compara a técnica com treinamento convencional nem com métodos especializados de edição de modelos, não demonstra economia de custo ou tempo e não mostra qualquer ciclo de auto-aprimoramento recursivo. Logs dos experimentos foram liberados no GitHub, e o grupo diz estar desenvolvendo um benchmark e um framework de apoio. O trabalho se apoia em pesquisas anteriores de edição cirúrgica de pesos, como ROME (NeurIPS 2022) e MEMIT (ICLR 2023).

Fontes: VentureBeat · Analytics India Magazine

🎙️ Gostou? Receba só o que te interessa, todo dia

Escolha seus temas e receba um briefing diário em áudio e texto, de graça, no WhatsApp ou e-mail.

Montar meu briefing grátis