推动AI推理浪潮：EPRI的Ben Sooter - 第292期
EPRI研发总监Ben Suter探讨AI推理计算浪潮下的微型数据中心。与训练阶段不同，AI模型80%的算力和能耗发生在推理阶段，这催生了分布式微型数据中心的需求。相比传统的千兆瓦级训练中心，微型数据中心功率较小（3-20兆瓦），可部署在靠近用户的区域以降低延迟，还能利用各地闲置的变电站容量，加速电力接入。EPRI正与NVIDIA等合作伙伴探索这种"分布式推理"模式，通过在多个站点组合部署来满足大规模AI推理需求，同时为电网提供灵活负载解决方案，可结合储能与可再生能源。未来一年有望看到更多微型推理数据中心落地运行。