AI系列之CPU：推理时代迎价值重估.pdf

报告摘要

训练与推理的底层差异决定CPU在训练场景是“辅助”，在推理场景可以成为"主力”——1）基于Little's Law（吞吐=并发数/延迟），CPU和GPU选择了 “压低延迟”和“堆高并发”的不同路线。2）训练以大规模稠密矩阵运算为主，大部分时间GPU在计算，CPU仅承担数据搬运+集群调度，时间占比10-30%；

推理具有碎片化、长尾化、延迟敏感特点，CPU在Decode、稀疏计算、长上下文管理、Embedding等多个任务中更具竞争力，可完成70%以上运行负载。对硬件的不同要求推动推理时代CPU与GPU硬件结构配比发生重大转变：在AI数据中心的部署比例，CPU:GPU已从过去的1:8收紧至当前的1:4，并可能在 Agent时代进一步收敛至1:1甚至更低；当前市场端CPU缺货涨价潮充分印证该产业趋势，CPU增量逻辑确定。

Agentic AI是CPU爆发的核心驱动。传统LLM是大Batch吞吐，Agent是高频小请求，工作负载特征反转导致GPU算力闲余，CPU处理时间占比上升；工具调用、沙箱运行、多智能体调度等环节天然依赖CPU架构，同时长上下文+RAG检索场景下，CPU+大DDR5方案具有突出性价比优势，且进行RAG检索时主力算力在CPU，检索频率也翻倍提升，CPU需求同步放大。