🎬 Assista esta matéria
Um grupo de pesquisadores que assina como MemTensor publicou nesta terça-feira (20) o paper do MemT-1.0, uma família de modelos de linguagem que troca o jeito padrão de lembrar conversas antigas. Em vez de guardar o histórico inteiro num cache de chave-valor que cresce sem parar, a memória passa a fazer parte do cálculo do próprio modelo.
O artigo está no arXiv sob o código 2610.26825 e entrou na lista de papers em alta do Hugging Face no mesmo dia. Pesos e código foram liberados.
66x menos armazenamento, 1,86x mais rápido
O número que sustenta o trabalho aparece no teste com histórico de 128 mil tokens. Nessa escala, a versão menor do modelo precisou de cerca de 66 vezes menos armazenamento persistente do que a abordagem convencional de manter o cache de contexto completo, e respondeu aproximadamente 1,86 vez mais rápido de ponta a ponta.
Isso importa porque o cache KV é hoje um dos maiores gargalos de custo de quem roda agentes de IA. Quanto mais longa a conversa, mais memória de GPU fica presa só para o modelo não esquecer o que foi dito — e é por isso que laboratórios vêm apostando em cache mais barato, como a Anthropic fez no Fable 5.1 e a OpenAI acaba de fazer ao esticar o seu cache para 12 horas.
Duas versões, construídas sobre modelos abertos
A família tem dois tamanhos. O MemT-1.0-Nano soma 36 bilhões de parâmetros, com 3 bilhões ativados por token e 10 milhões de parâmetros de memória dinâmica; o esqueleto é o Qwen3.6-35B-A3B, da Alibaba. O MemT-1.0-Flash chega a 288 bilhões de parâmetros, 17 bilhões ativados e 336 milhões de memória dinâmica, partindo do DeepSeek-V4-Flash.
Tecnicamente, o trabalho combina uma arquitetura chamada Gated DeltaNet-2 com um mecanismo de atualização de memória no nível do token e uma estrutura que o paper batiza de Mixture-of-Storage, para escalar a memória nativa. O treino foi em duas etapas — pré-treino continuado e pós-treino — com 34 bilhões de tokens, volume pequeno para padrões de fronteira justamente porque o ponto de partida são modelos já prontos.
Em 11 testes de memória, o Flash tirou média de 50,6 e o Nano, 47,0 — primeiro e segundo lugares entre os métodos de memória paramétrica. Os autores são honestos sobre o limite: sistemas que guardam memória em texto e buscam a informação depois continuam à frente no geral, principalmente em históricos longos que exigem recuperar evidência detalhada.
Os ganhos também apareceram em tarefas de agente, segundo o artigo, quando o modelo internaliza procedimentos que já executou antes. Como os números são dos próprios autores e ainda não passaram por revisão por pares, valem como indício, não como veredito.
Fontes: arXiv · Hugging Face Papers · GitHub MemTensor
🎙️ Gostou? Receba só o que te interessa, todo dia
Escolha seus temas e receba um briefing diário em áudio e texto, de graça, no WhatsApp ou e-mail.
Montar meu briefing grátis