分发式推理网络(DIN)技术白皮书.pdf

前 言
2025年1月20日,深度求索(DeepSeek)公司自主研发的国产大模型DeepSeek-R1模型以极低成本实现了与国际顶尖AI模型相当的性能,凭借出色的性能和易用性快速扩张。随之而来的海量并发用户访问请求,造成服务器资源迅速耗尽,DeepSeek多次出现网页和API无法访问的情况,用户在使用其服务时,频繁收到“服务器繁忙,请稍后再试”的提示。同时,DeepSeek的火爆出圈也吸引了攻击者使用多种网络攻击技术和手段持续进行攻击。随着普惠AI推理时代的到来,需要考虑以Al模型和AI推理为中心构筑互联网,网络也将面临新的网络流量模式的变化。实现普惠AI和AI推理大规模应用面临AI推理基础设施能力不足,AI推理网络技术待完善,AI服务网络安全防护能力待提升等挑战。
中国移动提出面向普惠AI服务的新型分布式推理网络(Distributed Inference Network,DIN),融合运营商网络协议可编程和流量感知调度能力的优势,支撑中心、边缘或边云协同部署等多种分布式方式的推理架构,挖掘算网一体安全推理、边云协同后训练、模型分层协同、大小模型协同、训推协同进化、PD分离协同等多种端边云协同模式,研究推理网络保障技术、推理服务调度技术、推理安全防护技术等关键技术,解决大模型集中化部署模式下的大规模并发推理能力不足的问题,构筑多维度安全能力,从而有效应对亿级海量用户并发推理挑战并实现安全高效的AI推理服务。未来中国移动在分布式推理网络方面,将联合产业界重点拓展应用场景,构建融合端、边、网、算的DIN技术体系,解决AI推理在个人(ToC)、家庭(ToH)及企业(ToB)应用中的成本、效率、安全与场景适配难题,加速全社会普惠AI时代到来。1.业务发展趋势与挑战
1.1 AI大模型发展趋势
2025年1月20日,深度求索公司自主研发的DeepSeek-R1模型震惊世界,以极低的成本实现了与国际顶尖AI模型相当的性能。人工智能大模型技术的飞速发展,正在深刻改变人类社会的生产生活方式,对物理世界、虚拟世界和生命世界带来全方位的影响,加速人类社会从信息社会向智能社会演进。当前出现两个重要趋势:
趋势一:AI普及速度显著加快,推理成本迅速降低,用户从访问内容向访问AI模型转变。DeepSeek-R1大模型的表现达到了行业领先水平,推理速度提升4倍,API调用成本仅为GPT-4-Turbo的近百分之一。从DeepSeek发布后不到一个月的时间,日活用户量DAU也在短短一个月的时间内从100万迅速突破3000万,增长速度刷新了行业纪录。据不完全统计,国内外已有50+企业宣布接入DeepSeek,涉及网络安全、汽车、智能硬件、金融行业、芯片制造、云服务提供商等各行业,通过与应用深度集成,AI大模型正在从聊天工具向生产生活工具演进,预计会形成不可逆的新业务场景。
趋势二:AI Agent无处不在,Agent之间的通信会显著增长。普惠AI推理进一步推动AI智能体需求爆发,逐步演进为具备更高自主性和协作能力的泛在多智能体系统,如Manus发布多AI Agent协作效果视频,OpenAI推出的Operator智能体展现自主执行多任务能力。为协同完成如供应链管理、金融等复杂任务和高效决策,Agent之间会产生大量去中心化的、高度实时、安全敏感的通信流量。
1.2 Al时代网络流量变化
云计算时代以云为中心构建互联网,互联网流量增加东西向流量承载,发展出SRv6等网络技术。随着AI推理时代的到来,大量应用、loT设备以及未来AI智能体等交互式访问AI推理服务,以及AI模型分发模式的变化、AI训推一体化等技术的发展,需要重新考虑以AI模型和AI推理为中心构筑互联网,网络将面临新的网络流量流向和流量模式变化,需要应对普惠AI时代新的业务模式,发展新的网络技术。
端云多模态交互带来南北流量持续增长。随着AI智能体、智能终端的普及,以及AI推理服务的开放化和普惠化,多模态交互需求和云端推理需求激增,用户侧与云侧南北向流量将快速增长。根据预测,到2030年,仅在中国市场AI Token引发的日均网络流量将达到500TB,是当前全国移动网络日均总流量的5.5倍。
Agent间交互带来东西向流量持续增长。随着AI技术的不断进步,多Agent系统、AI模型的分布式训练和推理架构逐渐成为研究和应用的热点,这些系统由多个具有自主决策和交互能力的Agent组成,他们之间需要进行频繁的通信和协作以完成复杂任务。如在金融风控系统中,信用评估Agent需与反欺诈Agent实时交换数据,游戏场景中更强的AI NPC智能体通过Multi-Agent架构实现动态交互。这种多智能体间的交互会产生大量的东西向流量。
复杂推理任务对时延提出新要求。在运行复杂推理任务时,往往需要多步骤交互,在通算、智算、存储等系统之间形成高频率流水线调用,对时延提出严苛要求。例如,当用户向一个AI智能体发出“规划一次旅行并预订相关服务”的指令时,AI智能体首先需要通过通信网络获取用户位置、偏好等信息,然后调用智算资源进行数据分析与旅行方案规划,进一步通过通信网络与各旅游服务供应商的Agent系统交互来完成预订操作。在这一系列过程中,如果时延过高,用户体验将受到极大影响,可能导致用户放弃使用该服务。
1.3 Al普惠时代面临的挑战
DeepSeek访问量峰值超过4900万次/日,海量的并发用户访问请求,造成服务器资源迅速耗尽,DeepSeek多次出现网页和API无法访问的情况,用户使用时经常遇到“服务器繁忙,请稍后再试”的问题。2月6日DeepSeek官方宣布,由于服务器资源紧张,已暂时停止API服务的充值功能。
DeepSeek的火爆出圈也吸引了攻击者使用多种攻击技术和手段,持续进行攻击。2025年1月28日,DeepSeek发布公告称,其线上服务遭遇大规模恶意攻击,导致平台注册繁忙。网络安全公司奇安信通过监测发现,攻击从最初的放大攻击演变为更难防御的HTTP代理攻击,并在1月30日凌晨升级为由僵尸网络主导的攻击,攻击烈度相比1月28日暴增上百倍。

本文来自知之小站

 

PDF完整报告已分享至知识星球,微信扫码加入立享4万+最新精选报告

(星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com)