A técnica Swift Bonsai 2 Katana + MTP, de Ayshinko, integra o Swift Bonsai 2 e MTP em um GGUF de aproximadamente 6,40 GB. A proposta combina compressão, eficiência de raciocínio e geração especulativa. Para entender sua proposta, vale acompanhar a origem de cada componente e distinguir três objetivos: comprimir os pesos, tornar o raciocínio mais econômico e acelerar a geração. [1]

A origem: uma variante do Qwen3.8-27B

O Ternary Bonsai 2, da PrismML, deriva do Qwen3.8-27B. A UkisAI desenvolveu o Swift Bonsai 2 sobre essa base ternária. Essa linhagem permite descrevê-lo como um derivado do Qwen3.8-27B. [2][3]

Componente	Contribuição	Responsável
Qwen3.8-27B	Modelo de origem	Equipe Qwen
Ternary Bonsai 2 27B	Compressão ternária	PrismML
Swift Bonsai 2	Ajustes para eficiência do raciocínio	UkisAI
KATANA + MTP	Integração do Swift com uma cabeça MTP	Ayshinko, utilizando pesos MTP de ProCreations

O Qwen3.8-27B é um modelo denso, multimodal, com 64 camadas. Sua arquitetura combina blocos de atenção linear Gated DeltaNet e Gated Attention. A documentação oficial informa contexto nativo de 262.144 tokens. Essas características descrevem o modelo de origem; a execução de cada derivado depende dos arquivos e do suporte oferecido pelo motor de inferência. [8]

Como a compressão ternária reduz o tamanho?

A representação ternária emprega pesos com três valores: −1, 0 e +1, acompanhados de fatores de escala. A PrismML informa escalas FP16 por grupo e aproximadamente 1,76 bit efetivo por peso no Bonsai 2, com tamanho próximo de 5,9 GB. [2]
Isso ajuda a explicar como um modelo da classe de 27 bilhões de parâmetros pode ocupar poucos gigabytes. Como referência aritmética, 27 bilhões de parâmetros armazenados em 16 bits corresponderiam a aproximadamente 54 GB, antes de considerar outros componentes e
particularidades do arquivo.

Segundo a avaliação publicada pela PrismML, o Bonsai 2 preservou 98,2% da pontuação agregada do modelo de precisão completa em sua bateria de benchmarks. Esse percentual resume os testes apresentados pela empresa; cada tarefa continua sujeita às perdas e variações observadas individualmente. [2]

A precisão efetiva deve ser considerada junto das escalas e demais informações necessárias à representação. Por isso, rótulos comerciais como “1-bit” precisam ser interpretados com a especificação técnica do formato.

O que o Swift modifica no raciocínio?

A UkisAI relata que identificou tokens marcadores associados a raciocínios excessivamente prolongados e realizou ajuste fino penalizando seu uso durante o raciocínio. A correção Swift foi incorporada aos pesos dos arquivos distribuídos. [3] O objetivo é diminuir etapas redundantes antes da resposta. A avaliação publicada, entretanto, mostra que o efeito varia conforme o teste:

Avaliação divulgada pela UkisAI	Resultado sobre o uso de tokens
GPQA-Diamond, avaliação histórica	Redução de 19,0% na média e 39,8% na mediana dos tokens de raciocínio
C-Eval, avaliação histórica	Redução de 18,4% na média
AIME 2025, arquivo PQ2_0 atual	Aumento de 4,3% na média dos tokens da resposta completa

Esses resultados utilizam protocolos e versões diferentes. GPQA e C-Eval correspondem à correção histórica em tempo de execução; AIME foi atualizado com os arquivos PQ2_0. A própria UkisAI esclarece que a variação na quantidade de tokens não mede diretamente latência ou custo. Portanto, “39,8% menos tokens” precisa acompanhar a identificação da métrica e do teste. [4]

A equipe também classifica o Swift como uma publicação experimental e relata comportamento irregular em seguimento de instruções, ferramentas e tarefas abertas de programação e agentes. Os benchmarks ajudam a investigar o modelo, mas a aplicação pretendida ainda exige avaliação própria. [3]

O que significa MTP?

MTP significa Multi-Token Prediction, ou predição de múltiplos tokens. A pesquisa de Gloeckle e colaboradores descreve o treinamento de modelos para prever vários tokens futuros, utilizando cabeças de saída sobre um corpo compartilhado. Esse trabalho oferece uma referência para compreender a técnica; seus resultados experimentais pertencem aos modelos estudados no artigo. [5]

Na decodificação especulativa, um mecanismo de rascunho propõe continuações e o modelo principal verifica as propostas. Quando vários tokens são aceitos, a geração pode avançar com menos etapas sequenciais custosas. O trabalho de Leviathan e colaboradores formaliza um algoritmo capaz de preservar a distribuição de saída do modelo principal. A equivalência depende de uma implementação correta doprocedimento de verificação e amostragem. [6]

O projeto ProCreations documenta uma cabeça MTP para o Bonsai 2, disponibilizada em BF16 e em Q8_0 inteiro, com verificação dos tokens especulativos pelo modelo principal. A taxa de aceitação é a proporção entre tokens propostos e aceitos, uma medida útil para analisar o funcionamento da aceleração. [9]

Minha leitura técnica é que Swift e MTP atuam em pontos complementares: o Swift procura reduzir trabalho redundante no raciocínio; o MTP procura executar a geração de forma mais eficiente. O ganho combinado precisa ser medido com a mesma tarefa, configuração e versão do motor.

Como interpretar o arquivo KATANA ?

NOME-DO-ARQUIVO-PTQ1_0-MTP-Q8_0.gguf

PTQ1_0 descreve o corpo ternário; Q8_0, MTP de uma camada adicional. O arquivo combina essas precisões. [1]. A documentação oficial do Bonsai-demo distingue os formatos: versões recentes do llama.cpp principal suportam o formato Q2_0 com a integração necessária, enquanto PTQ1_0 e PQ2_0 continuam exigindo o fork da PrismML. A compatibilidade depende do formato dos tensores e da versão do motor. [7]

O tamanho do download também precisa ser separado da memória utilizada durante a inferência. A documentação do Swift informa que o consumo inclui pesos e caches de contexto e estado. Dimensionar um servidor exige considerar esses componentes além do arquivo do modelo. [3] Para imagens, o KATANA exige mmproj separado; a execução visual não foi validada de ponta a ponta nessa publicação. [1]

O que as evidências permitem afirmar?

Os benchmarks e as estimativas de memória da página do KATANA são do Bonsai 2 MTP anterior; medições específicas desse pacote ainda são necessárias. [1]

Isso estabelece uma distinção útil para qualquer avaliação: preservação de qualidade do Bonsai, economia de tokens do Swift e aceleração com MTP são resultados de experimentos diferentes. Um teste do pacote completo deve registrar hardware, revisão dos arquivos, motor, contexto, amostragem, quantidade de tokens e MTP ligado ou desligado.

Para IA local, considero essa combinação uma direção interessante de pesquisa: aproveitar modelos maiores em máquinas com menos memória e reduzir o tempo necessário para concluir tarefas. Seu valor prático será demonstrado por respostas corretas, estabilidade e desempenho medidos na aplicação em que será utilizado.

Fontes e evidências

• Swift Bonsai 2 27B — KATANA MTP GGUF, por Ayshinko : Seções Feature Highlights, Benchmarks, Model Architecture e Known Limitations. Evidência da natureza do projeto: “independent community integration”.
• PrismML: Introducing Bonsai 2 27B : Origem Qwen3.8, representação ternária, tamanho e avaliação agregada. Evidência: “1.76 effective bits per weight”.
• UkisAI: Swift Bonsai 2 GGUF : Mmétodo de ajuste, arquivos, memória e limitações. Evidência: “This is an experimental research release.”
• UkisAI: Swift Bonsai 2 : Avaliação e metodologia — médias, medianas e distinção entre avaliações históricas e arquivos atuais. Evidência: “Token changes are not direct measurements of latency or cost.”
• Gloeckle et al.: Better & Faster Large Language Models via Multi-token Prediction : Referência científica sobre treinamento com predição de múltiplos tokens.
• Leviathan et al.: Fast Inference from Transformers via Speculative Decoding : Referência científica sobre geração especulativa e preservação da distribuição.
• PrismML-Eng/Bonsai-demo Upstream support : Suporte dos formatos Q2_0, PQ2_0 e PTQ1_0.
• Qwen/Qwen3.8-27B : Model Overview , arquitetura, número de camadas, multimodalidade e contexto do modelo de origem.
• ProCreations: Ternary Bonsai 2 27B MTP : Pesos da cabeça MTP, representação Q8_0 e definição de taxa de aceitação.