🎬 Assista esta matéria
A Nature publicou em 7 de outubro de 2026 um artigo que apresenta a “byteification”, técnica para converter modelos de linguagem já treinados em modelos que operam sobre bytes brutos em vez de pedaços de palavras. O trabalho é assinado por pesquisadores do Allen Institute for AI (Ai2), da Universidade de Cambridge e da Universidade de Edimburgo.
O argumento central é econômico. Modelos byte-level são defendidos há anos por lidarem melhor com grafia, palavras raras, espaços em branco e sistemas de escrita variados, já que não dependem de um vocabulário fixo. O problema é que treiná-los do zero sempre custou caro demais para acompanhar o ritmo dos modelos tradicionais.
Menos de 1% do orçamento
A byteification parte de um modelo bom que já existe e faz um treino adicional curto. Segundo a cobertura do artigo, a conversão consome menos de 1% do que custaria um pré-treino normal — o equivalente a 49,1 bilhões de tokens. O processo tem duas etapas, e o Ai2 está liberando também os checkpoints do primeiro estágio, em que o modelo original fica congelado e só os componentes novos de byte são treinados.
Quatro modelos convertidos foram divulgados, com nomes derivados dos originais: Bolmo 1B e Bolmo 7B, a partir dos Olmo do Ai2; Bwen 8B, a partir do Qwen 3 8B; e Blama 8B, a partir do Llama 3 8B.
O que os números mostram
O Ai2 descreve o Bolmo como o primeiro conjunto de modelos byte-level totalmente abertos competitivos com modelos de subpalavra fortes em uma faixa ampla de tarefas. O Bwen 8B aparece como o mais forte do grupo e supera o Bolmo 7B na suíte agregada de avaliação do instituto. Bwen e Blama ficam perto de empatar com os modelos de origem.
Em tarefas de compreensão em nível de caractere, o artigo relata que os modelos byteificados superaram com folga os equivalentes de subpalavra. Na comparação com o BLT 7B, sistema byte-level anterior, a cobertura cita ganho de 16,5 pontos percentuais em tarefas de STEM para o Bolmo 7B. O custo em parâmetros extras é pequeno, na faixa de cerca de 1,5% a 4,5% dependendo do modelo.
A implicação de longo prazo vai além de texto: como bytes são a base de qualquer dado digital, o Ai2 sugere que a abordagem pode servir de fundação comum também para imagem e áudio.
🎙️ Gostou? Receba só o que te interessa, todo dia
Escolha seus temas e receba um briefing diário em áudio e texto, de graça, no WhatsApp ou e-mail.
Montar meu briefing grátis