边嫌侧是AI生态中最重要的组成部分之一,AI飞轮发展滚滚向前,从今年初GPT-
3.5惊艳世界,到5月14日OpenAI正式开启插件功能,我们见证了云端大模型的快速迭代与演化。当前时点,AI大模型已经站在了从“玩具”向“工具”快速演化的关键迭代期。如何让大模型渗透进入各类垂直场景,如何更低成本的使用大模型,如何让更多场景与用户接触AI,成为了发展的下一个重点。在AI向实际场景落地时,边缘算力的重要性加速凸显,边缘算力在成本、时延、隐私上具有天然优势,也可以作为桥梁,预处理海量复杂需求,并将其导向大模型。边缘算力作为AI触及万千场景的血管地位加速明晰。之前,边缘侧设备以部署通信能力为主,当下,在以高通为代表的边缘巨头推动下,算力、AI能力等边缘基建正在加速推动,同时三大运营商的算力网络与边缘资源池体系,也为我国算力梯度分布奠定了雏形。展望未来,边缘算力将始于AI带来的需求提升,同时也将赋能应用,连接更多用户,加速AI发展与迭代。
边缘算力的三大优势。边缘算力,通常指部署在设备本地的算力或者离用户距离较近的数据中心中的算力。边缘算力相较于云端算力,拥有低成本、低时延、高
隐私三大特性。(1)低成本:当前主流的边缘算力平台主要采用高通主导下的ARM架构,相比于英伟达的复杂架构,ARM架构在小算力时拥有极低的单位成本,是降低开发与用户成本的必然选择。(2)低时延:边缘算力一般搭载在本地,无需将数据发送至云端并等待回传的时间,可以满足如自动驾驶,快速对话等对时延
要求高的场景。(3)高隐私:边缘算力依靠设备本身搭载的算力或在用户自有服务器上的算力进行推理,可以实现数据不出用户管辖范围,对隐私的保护更好。
边炼算力的存在形式。当下边缘算力主要有两种存在模式,一种是设备本身搭载的算力,这类算力通常依托边缘处理芯片存在,边缘处理芯片包括了手机终端上的骁龙与苹果M平台,面向IOT设备的如高通8155芯片或者专为AI优化的QCM8550芯片。通常,大单品采用直采芯片+定制PCB的形式进行开发,而中小厂商与细分垂直领域往往采购模组来满足算力需求。第二种算力存在形式是边缘资源池,通常由离用户较近的核心城市内的数据中心构成,或者由厂区,道路旁的小机柜、算力盒子提供算力。
边缘算力赋能万千应用。在生成式AI爆发前,边缘算力已经逐渐渗透进了部分商用场景,如手机云游戏、无人设备驾驶、自动视频识别等。如今随着MLC-LLM,谷歌模型体系等软件基建加速,特斯拉机器人为具身智能完成物理基建,在终端设备上推理生成式模型,甚至让智能设备同物理世界自主交互的条件已经具备,未来,随着应用加速渗透、预处理模型需求爆发,以及边缘小模型推理,智能设备物理交互需求爆发。
“云一边”一体,共筑AI飞轮模型。“云一边”一体指云计算和边缘计算的有机结合。此前市场担心小模型对算力需求下降,但我们却认为这正是AI应用闭环的必由之路。类似于交通网络,光有干线是不够的,还需要无数省道、乡村小路通往千家万户,汇聚而来的流量才能驱动干线不断升级。边缘侧需求的释放将开启“真AIOT”时代,或许这才能开启5G当初所提万物互联、算网一体的黄金时代。
本文来自知之小站
PDF报告已分享至知识星球,微信扫码加入立享3万+精选资料,年更新1万+精选报告
(星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com)
