Deepgram将Nova-3迁移至AWS Trainium2

Deepgram与AWS合作，把语音转文本模型Nova-3迁移到AWS Trainium2，用于呼叫中心分析、医疗转录等离线批处理场景。最终配置在单台EC2 trn2.3xlarge实例上运行8个模型副本。 据双方公布，在Deepgram面向吞吐量的离线批处理负载上，该配置每美元处理的音频量比Deepgram原有计算方案多11–70%；该结果按评估时的实例价格计算。 优化工作包括将Nova-3移植到AWS Neuron软件栈、调优内核，以及开发数据并行的Rust运行时，使Deepgram自有模型服务器能够调用Trainium。

AI 根据报道生成 · 1 天前更新

还没有足够的连续观测数据，暂不绘制趋势。