Byline

SiMa.ai lança software que acelera geração de texto em chips

Nova versão multiplica velocidade e corta uso de energia em até 3,5 vezes

Um microchip de semicondutor com camadas de circuitos integrados sobre fundo preto em perspectiva isométrica.
Foto: Divulgação/AMD

A empresa de inteligência artificial SiMa.ai lançou a versão 3.0 de seu software Palette, que roda em seus chips Modalix. A tecnologia acelera a geração de texto por modelos de linguagem em até 3,5 vezes em comparação com a decodificação padrão.

O método utilizado é chamado de 'speculative decoding', combinando três técnicas: EAGLE3, DFlash e a previsão de múltiplos tokens do Gemma 4. Os testes conduzidos pela SiMa.ai apresentaram ganhos de velocidade que variam de 2,21 a 3,49 vezes em quatro modelos diferentes.

Um experimento com o modelo Qwen3.5 9B, da Alibaba, usando a técnica DFlash, elevou a geração de texto de 11,98 para 41,75 tokens por segundo com consumo de aproximadamente 7,5W. Com isso, o gasto energético por token caiu de 0,627 para 0,182 joules.

Manuel López Roldán afirma que o software Palette 3.0 roda modelos de inteligência artificial diretamente no dispositivo, sem necessidade de serviço de fundo. A plataforma suporta modelos grandes, como o GPT-OSS-20B da OpenAI, em módulos Modalix com 16 GB de memória.

Em uma demonstração, um assistente de carro equipado com a nova tecnologia processou 900 comandos corretamente, com ganho de velocidade entre 1,35 e 2,06 vezes. O código do software é aberto e está disponível no GitHub, com a documentação no Developer Center da empresa.

A SiMa.ai levantou 150 milhões de dólares em setembro, alcançando uma avaliação de 1,45 bilhão.

Voltar para Economia