跳到正文

#推理

  1. Hugging Face 开源生态71

    如何查询模型是否支持 AWS Trainium

    Hugging Face 的 TorchNeuron 模型支持 Space 可查询 Hugging Face Hub 上的模型是否无需修改即可在 AWS Trainium 上运行。

    推荐理由:提供了按模型查询兼容性、环境版本、资源占用与运行脚本的方法,便于评估迁移到 Trainium 的适配情况。

  1. GitHub:Ollama 端侧推理74

    Ollama v0.40.9 新增 Apple Silicon 语音生成并引入 d3 决策模型

    Ollama v0.40.9 支持在 Apple Silicon 上通过 Phonon 生成语音,应用还可经 OpenAI 兼容的 `/v1/audio/speech` 端点流式传输音频。版本引入 d3 决策模型,提供 2B、4B、9B 和 27B 四种规模,可对文本、结构化状态或图像进行分类、yes/no 判断和选项概率评分;Flint 也新增 Linux 与 Windows 支持。

    推荐理由:Ollama v0.40.9 同时扩展了语音生成、决策模型与跨平台支持,并补充多项请求和工具配置改进。

已经到底了