MIT Technology Review · AI· David Sydow·· 9 小时前AI 评分24
企业 AI 的新经济学:HPE Private Cloud AI 如何优化有效成本
The new economics of enterprise AI
AI 导读
企业AI的衡量标准正从token或GPU小时价格转向每个有用业务结果的有效成本,HPE Private Cloud AI以调度、模型选择、GPU分区和KV-cache管理提升利用率。HPE委托的独立测试显示,高利用率运行多工作负载的集成平台比反复租用同等容量有更低的有效每token成本,结果因负载与利用率而异。
来源:MIT Technology Review · AI · technologyreview.com