article

Estudo na Nature faz LLM ler bytes, não palavras

3 min de leitura

🎬 Assista esta matéria

A Nature publicou em 7 de outubro de 2026 um artigo que apresenta a “byteification”, técnica para converter modelos de linguagem já treinados em modelos que operam sobre bytes brutos em vez de pedaços de palavras. O trabalho é assinado por pesquisadores do Allen Institute for AI (Ai2), da Universidade de Cambridge e da Universidade de Edimburgo.

O argumento central é econômico. Modelos byte-level são defendidos há anos por lidarem melhor com grafia, palavras raras, espaços em branco e sistemas de escrita variados, já que não dependem de um vocabulário fixo. O problema é que treiná-los do zero sempre custou caro demais para acompanhar o ritmo dos modelos tradicionais.

Menos de 1% do orçamento

A byteification parte de um modelo bom que já existe e faz um treino adicional curto. Segundo a cobertura do artigo, a conversão consome menos de 1% do que custaria um pré-treino normal — o equivalente a 49,1 bilhões de tokens. O processo tem duas etapas, e o Ai2 está liberando também os checkpoints do primeiro estágio, em que o modelo original fica congelado e só os componentes novos de byte são treinados.

Quatro modelos convertidos foram divulgados, com nomes derivados dos originais: Bolmo 1B e Bolmo 7B, a partir dos Olmo do Ai2; Bwen 8B, a partir do Qwen 3 8B; e Blama 8B, a partir do Llama 3 8B.

O que os números mostram

O Ai2 descreve o Bolmo como o primeiro conjunto de modelos byte-level totalmente abertos competitivos com modelos de subpalavra fortes em uma faixa ampla de tarefas. O Bwen 8B aparece como o mais forte do grupo e supera o Bolmo 7B na suíte agregada de avaliação do instituto. Bwen e Blama ficam perto de empatar com os modelos de origem.

Em tarefas de compreensão em nível de caractere, o artigo relata que os modelos byteificados superaram com folga os equivalentes de subpalavra. Na comparação com o BLT 7B, sistema byte-level anterior, a cobertura cita ganho de 16,5 pontos percentuais em tarefas de STEM para o Bolmo 7B. O custo em parâmetros extras é pequeno, na faixa de cerca de 1,5% a 4,5% dependendo do modelo.

A implicação de longo prazo vai além de texto: como bytes são a base de qualquer dado digital, o Ai2 sugere que a abordagem pode servir de fundação comum também para imagem e áudio.

Fontes: Nature · Ai2

🎙️ Gostou? Receba só o que te interessa, todo dia

Escolha seus temas e receba um briefing diário em áudio e texto, de graça, no WhatsApp ou e-mail.

Montar meu briefing grátis