跳到正文
GitHub:OpenVINO·· 23 天前精选AI 评分62

OpenVINO 2026.4.1 发布,增强大语言模型推理并修复多设备问题

2026.4.1

AI 导读

OpenVINO 2026.4.1 发布,增强 `GroupQueryAttention` 对现代大语言模型的支持,并为 `MatMulNBits` 增加 `bfloat16` 支持。该版本修复了滑动窗口 KV-cache、GPU、NPU、CPU及编译 blob 导入中的崩溃、内存损坏和结果错误,同时强化了算子对畸形输入的校验。

推荐理由

这次更新补齐大语言模型推理支持,并修复GPU、NPU和CPU路径中的崩溃与结果错误,可供评估端侧部署影响。

来源:GitHub:OpenVINO · github.com