Executar modelos avançados de inteligência artificial localmente ainda exige, na maioria dos casos, computadores com grande quantidade de memória RAM ou placas gráficas caras. O Bonsai 2 27B, desenvolvido pela PrismML, propõe mudar essa realidade por meio de uma combinação de quantização ternária, transformações matemáticas e kernels de inferência especializados.

Baseado no Qwen3.8-27B, o modelo possui 27 bilhões de parâmetros e, em precisão FP16, ocuparia aproximadamente 54 GB. Entretanto, a versão ternária do Bonsai 2 reduz esse tamanho para cerca de 5,9 GB, mantendo, segundo a PrismML, 98,2% do desempenho agregado do modelo original.

Essa redução superior a nove vezes abre uma possibilidade importante: executar um modelo da classe de 27 bilhões de parâmetros em computadores pessoais, notebooks e dispositivos que jamais conseguiriam carregar sua versão em precisão completa.

O que é um modelo ternário?

Os modelos tradicionais armazenam seus pesos utilizando números com diferentes níveis de precisão, como FP32, FP16, BF16 ou INT8. Quanto maior a precisão, maior é o consumo de memória e a quantidade de dados movimentados durante a inferência.

No Bonsai 2, a maior parte dos pesos pode assumir somente três valores:

• -1
• 0
• +1

Por isso, ele é chamado de modelo ternário.

Em vez de utilizar 16 bits para representar cada peso, o Bonsai 2 trabalha com aproximadamente 1,76 bit efetivo por peso, combinando os valores ternários com fatores de escala em FP16 aplicados por grupos.

Na prática, isso reduz drasticamente o espaço necessário para armazenar o modelo e também diminui o volume de dados transferidos entre a memória e o processador ou GPU durante a geração dos tokens.

A compressão não é aplicada apenas em algumas camadas. Segundo a PrismML, a representação de baixa precisão é utilizada de ponta a ponta no modelo de linguagem. Apenas uma pequena parcela dos parâmetros, relacionada a componentes sensíveis como normalização e estados da atenção linear, permanece em maior precisão para preservar a estabilidade.

A importância da rotação de Hadamard

Simplesmente converter os pesos de um modelo para -1, 0 e +1 normalmente causaria uma perda significativa de qualidade. Alguns pesos carregam mais informação do que outros, e arredondá-los diretamente poderia destruir partes importantes do conhecimento do modelo.

Para reduzir esse problema, o Bonsai utiliza uma transformação conhecida como rotação de Hadamard.

Antes da quantização, essa operação redistribui matematicamente as informações entre os pesos. É como espalhar os valores mais extremos pela matriz, evitando que poucos parâmetros concentrem uma quantidade excessiva de informação.

A rotação é incorporada permanentemente aos pesos armazenados, sem aumentar o tamanho final do arquivo. Durante a inferência, uma transformação correspondente também precisa ser aplicada às ativações do modelo.

Esse detalhe explica uma das principais limitações atuais do Bonsai 2: ele não funciona corretamente no llama.cpp oficial. É necessário utilizar o fork disponibilizado pela PrismML, que contém os kernels ternários e as transformações exigidas pelo modelo. O mesmo acontece no ecossistema Apple, onde é necessária uma versão adaptada do MLX.

Sem essas modificações, o programa pode até carregar os pesos, mas produzirá resultados incorretos ou sem sentido.

Tamanho do modelo e consumo real de memória

O Bonsai 2 27B está disponível em diferentes formatos, cada um com características próprias:

Formato	Tamanho aproximado	Característica
GGUF PTQ1_0	5,95 GB	Empacotamento ternário mais denso
GGUF PQ2_0	7,21 GB	Utiliza posições de 2 bits, facilitando a descompactação
MLX 2-bit	7,67 GB	Versão destinada ao Apple Silicon
MLX com visão	8,60 GB	Inclui também o módulo visual

O tamanho do arquivo, entretanto, não representa todo o consumo de memória durante a execução. O runtime também precisa reservar espaço para as ativações, buffers e o cache KV utilizado para manter o contexto da conversa.

Em testes relatados pela MindStudio, o servidor do llama.cpp consumiu pouco mais de 12 GB de VRAM com sua configuração padrão de quatro slots paralelos. Ao limitar o servidor para uma única requisição simultânea com --parallel 1, o consumo caiu para menos de 8 GB.

Isso significa que o Bonsai 2 pode funcionar em uma GPU de 8 GB, dependendo do formato escolhido, do tamanho do contexto e da quantidade de requisições paralelas. Para uma utilização mais confortável, especialmente com contextos maiores, uma GPU com 12 GB ou mais continua sendo recomendável.

Contexto de até 262 mil tokens

Outro diferencial do Bonsai 2 é sua janela de contexto de aproximadamente 262 mil tokens. Isso permite trabalhar com grandes documentos, repositórios de código, históricos extensos e tarefas que dependem de muitas informações simultâneas.

Esse contexto seria extremamente caro se todas as camadas utilizassem atenção tradicional. O Qwen3.8 adota uma arquitetura híbrida, na qual aproximadamente 75% das camadas utilizam atenção linear e 25% utilizam atenção completa.

A atenção linear reduz o crescimento do custo computacional à medida que o contexto aumenta. A atenção tradicional permanece em uma parte das camadas para preservar a capacidade do modelo de relacionar informações distantes.

Mesmo assim, é importante lembrar que informar um contexto máximo de 262 mil tokens não significa que qualquer computador conseguirá utilizá-lo integralmente. Quanto maior o contexto efetivamente carregado, maior será o consumo de memória e o tempo necessário para processar o prompt.

Desempenho e eficiência energética

De acordo com os resultados publicados pela PrismML, o Bonsai 2 27B alcança até 143 tokens por segundo em uma NVIDIA GeForce RTX 5090 e aproximadamente 46,8 tokens por segundo em um Apple M5 Max.

Em uma RTX 4090, a empresa informa consumo de aproximadamente 0,714 mWh por token, tornando o modelo 40% mais eficiente energeticamente do que um modelo de 8 bilhões de parâmetros executado em precisão completa.

Os resultados variam conforme o hardware e o formato escolhido. O PTQ1_0 pode apresentar vantagem em GPUs limitadas pela largura de banda da memória, enquanto o PQ2_0 pode ser mais eficiente em equipamentos com maior capacidade computacional, pois seu formato simplifica a descompactação dos pesos.

Portanto, o arquivo menor nem sempre será automaticamente o mais rápido. O desempenho depende do equilíbrio entre largura de banda, capacidade de processamento, kernels disponíveis e custo da descompactação.

O modelo realmente preserva 98,2% da capacidade original?

Nos benchmarks apresentados pela PrismML, o Bonsai 2 atingiu uma pontuação agregada de 83,9, enquanto o Qwen3.8-27B em precisão completa alcançou 85,4. Os testes incluem raciocínio, matemática, programação, visão, seguimento de instruções e utilização de ferramentas.

Os números são impressionantes, mas precisam ser interpretados com cautela. O resultado de 98,2% foi obtido em avaliações realizadas e publicadas pela própria desenvolvedora.

Testes práticos relatados pela MindStudio apresentaram resultados mais variados. O modelo demonstrou bom desempenho em visão e escrita criativa, mas falhou ao localizar um erro de fuso horário propositalmente inserido em uma aplicação. Em outro teste, gerou uma interface visualmente satisfatória, porém com um botão que não funcionava, mesmo depois de diferentes tentativas de correção.

Esses resultados não significam que a tecnologia seja ruim. Eles demonstram que uma pontuação média próxima à versão original não garante comportamento idêntico em todas as tarefas. Pequenas perdas de precisão podem se tornar mais visíveis em fluxos com várias etapas, agentes autônomos, programação e uso de ferramentas.

Onde o Bonsai 2 pode ser utilizado?

A combinação de baixo consumo de memória, suporte multimodal e contexto extenso torna o modelo interessante para diferentes aplicações:

• assistentes de programação executados localmente;
• análise privada de documentos;
• interpretação de imagens e capturas de tela;
• sistemas RAG sem envio de dados para a nuvem;
• agentes capazes de utilizar ferramentas;
• automação de tarefas em estações de trabalho;
• processamento de informações corporativas sensíveis;
• arquiteturas híbridas entre IA local e serviços em nuvem.

Em uma arquitetura híbrida, tarefas frequentes ou sensíveis podem ser processadas localmente, enquanto operações mais complexas são encaminhadas seletivamente para modelos maiores na nuvem. Isso pode reduzir custos, latência, dependência de conexão e exposição de dados confidenciais.

Limitações atuais

Apesar das vantagens, o Bonsai 2 ainda possui alguns obstáculos:

• depende de forks específicos do llama.cpp ou do MLX;
• os kernels ternários ainda não fazem parte dos runtimes oficiais;
• o consumo real pode superar bastante o tamanho do arquivo;
• contextos muito extensos continuam exigindo memória e processamento;
• os resultados dos benchmarks do fabricante ainda precisam de maior validação independente;
• algumas tarefas podem apresentar perdas mais perceptíveis do que a média agregada sugere.

A dependência de um runtime personalizado é provavelmente a principal barreira para sua adoção imediata. Uma possível integração dos kernels ternários ao llama.cpp oficial tornaria a instalação mais simples e permitiria que o modelo fosse utilizado por um público muito maior.

Uma nova métrica para a inteligência artificial

O Bonsai 2 representa uma mudança importante na forma como avaliamos modelos de IA. Durante muito tempo, a evolução foi medida quase exclusivamente pela quantidade de parâmetros ou pela pontuação em benchmarks.

Com modelos ternários, uma nova métrica ganha relevância: a densidade de inteligência, ou seja, quanta capacidade útil pode ser entregue dentro de determinado orçamento de memória, processamento e energia.

Um modelo de 27 bilhões de parâmetros ocupando menos de 6 GB permite utilizar uma classe de inteligência antes restrita a servidores em equipamentos muito mais acessíveis. A tecnologia ainda precisa amadurecer, principalmente no suporte dos runtimes e na validação independente, mas demonstra que modelos maiores não precisam necessariamente exigir infraestruturas maiores.

Se a quantização ternária continuar evoluindo sem comprometer significativamente a qualidade, ela poderá transformar não apenas a IA executada em computadores pessoais, mas também servidores corporativos, datacenters e dispositivos de borda.

O Bonsai 2 27B não elimina a necessidade da nuvem, mas amplia consideravelmente aquilo que pode ser realizado localmente. E, em um cenário no qual privacidade, soberania dos dados, custo e eficiência energética estão se tornando fundamentais, essa talvez seja sua contribuição mais importante.

Referências

• PrismML — Introducing Bonsai 2 27B
• MindStudio — How to Run Bonsai 2 27B Locally