Novidades

• A versão OpenVINO 2024.6 inclui atualizações para maior estabilidade e melhoria no desempenho de LLMs.
• Suporte introduzido para gráficos Intel® Arc™ Série B (anteriormente conhecidos como Battlemage).
• Implementadas otimizações para melhorar o tempo de inferência e o desempenho de LLMs em NPUs.
• Melhorias no desempenho de LLMs com otimizações da API GenAI e correções de bugs.

---

OpenVINO™ Runtime

Plugin de Dispositivo para CPU

• O cache KV agora utiliza inteiros não assinados de 8 bits assimétricos (U8) como precisão padrão, reduzindo o estresse de memória para LLMs e aumentando seu desempenho. Essa opção pode ser controlada pelos metadados do modelo.
• Qualidade e precisão foram aprimoradas para modelos selecionados com diversas correções de bugs.

Plugin de Dispositivo para GPU

• Foram introduzidas otimizações na cópia de memória do dispositivo para inferência com gráficos Intel® Arc™ Série B (anteriormente conhecidos como Battlemage). Como não utilizam cache L2 para copiar memória entre o dispositivo e o host, uma operação de cópia dedicada é usada, caso as entradas ou resultados não sejam esperados na memória do dispositivo.
• Inferência com ChatGLM4 em GPUs foi otimizada.

Plugin de Dispositivo para NPU

• O desempenho de LLMs e o tempo de inferência foram aprimorados com otimizações de memória.

---

OpenVINO.GenAI

• O exemplo encrypted_model_causal_lm agora está disponível, demonstrando como descriptografar um modelo.

---

Outras Alterações e Problemas Conhecidos

Jupyter Notebooks

• Assistente visual-linguístico com GLM-Edge-V e OpenVINO.
• IA Local e OpenVINO.
• Compreensão e geração multimodal com Janus e OpenVINO.

Mais detalhes : https://docs.openvino.ai/2024/about-openvino/release-notes-openvino.html