GitHub:OpenVINO·· 23 天前精选AI 评分62
OpenVINO 2026.4.1 发布,增强大语言模型推理并修复多设备问题
2026.4.1
AI 导读
OpenVINO 2026.4.1 发布,增强 `GroupQueryAttention` 对现代大语言模型的支持,并为 `MatMulNBits` 增加 `bfloat16` 支持。该版本修复了滑动窗口 KV-cache、GPU、NPU、CPU及编译 blob 导入中的崩溃、内存损坏和结果错误,同时强化了算子对畸形输入的校验。
推荐理由
这次更新补齐大语言模型推理支持,并修复GPU、NPU和CPU路径中的崩溃与结果错误,可供评估端侧部署影响。
来源:GitHub:OpenVINO · github.com