AWS Machine Learning Blog· Shantanu Tripathi·· 1 天前AI 评分56
Amazon SageMaker Inference 支持 NVIDIA MIG GPU 分区，提升模型端点 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 现已支持 GPU 分区，借助 NVIDIA MIG 把一块物理 GPU 拆成最多 7 个硬件隔离分区，让多个模型部署在同一实例上。
来源：AWS Machine Learning Blog · aws.amazon.com