Hugging Face Blog·· 1 天前精选AI 评分70
PyTorch 2.15 发布，MPS 后端新增 FP8 支持并加速 LLM 解码
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 发布，MPS 后端新增 float8_e4m3fn 张量支持，并把线性层、softmax、MoE grouped matmul 等算子从 MPSGraph 换成专用 Metal kernel。
推荐理由
原文用 M3 Ultra 上的实测吞吐与内存数据，交代 FP8 与 Metal kernel 迁移给 Mac 本地推理带来的具体变化。
来源：Hugging Face Blog · huggingface.co