A baixo as principais novidades da versão 2024.4.0 da tecnologia openVINO.
Mais cobertura para Gen AI e integrações de frameworks para minimizar alterações de código

• Suporte para os modelos GLM-4-9B Chat, MiniCPM-1B, Llama 3 e 3.1, Phi-3-Mini, Phi-3-Medium e YOLOX-s.
• Notebooks de destaque adicionados: Florence-2, Extração de Estrutura NuExtract-tiny, Geração de Imagens Flux.1, PixArt-α: Síntese de Texto para Imagem Fotorrealista, e Phi-3-Vision Assistente Visual de Linguagem.

Maior suporte para modelos LLM e mais técnicas de compressão de modelos

• OpenVINO™ Runtime otimizado para as matrizes sistólicas Intel® Xe Matrix Extensions (Intel® XMX) em GPUs integradas, proporcionando uma multiplicação de matrizes eficiente, resultando em um aumento significativo de desempenho em LLM com melhorias na latência do 1º e 2º tokens, além de uma menor utilização de memória nos processadores Intel® Core™ Ultra (Série 2).
• Compartilhamento de memória habilitado para NPUs em processadores Intel® Core™ Ultra (Série 2) para integração de pipelines eficiente, sem sobrecarga de cópia de memória.
• Adição do recurso PagedAttention para GPUs discretas, permitindo um aumento significativo no throughput para inferência paralela ao servir LLMs nas placas gráficas Intel® Arc™ ou Intel® Data Center GPU Flex Series.

Mais portabilidade e desempenho para executar IA na borda, na nuvem ou localmente

• Suporte para processadores Intel® Core Ultra Série 2 no Windows.
• O OpenVINO™ Model Server agora vem com suporte em nível de produção para API compatível com OpenAI, o que possibilita uma taxa de transferência significativamente maior para inferência paralela em processadores Intel® Xeon® ao servir LLMs para muitos usuários simultâneos.
• Desempenho e consumo de memória aprimorados com cache de prefixo, compressão de cache KV e outras otimizações para servir LLMs usando o OpenVINO™ Model Server.
• Suporte para Python 3.12.
• Suporte para Red Hat* Enterprise Linux* (RHEL) versões 9.3 – 9.4.

Baixar a versão 2024.4
Baixe agora a última versão.