和代码方案，以迅速建立自身的模型能力和推理训练能力。
(2)模型工具层：是模型训练与部署的平台，构建于基础设施层之上，涵盖了从数据构建、模型训练到模型部署的全过程。
■数据构建：涵盖了数据清洗、分类和管理等工作。
■模型训练：涵盖了模型预训练、微调和评估等工作。
■模型部署：涵盖了模型转换、量化和裁剪等工作。
(3)模型引擎层：主要作用是实现路由和编排，将不同的模型能力进行整合和协调。
模型包括文本模型、视觉模型、多模态模型以及分类判别模型等，然而单一的模型并不能直接为最外层的应用提供所需的所有功能，需要根据各种模型能力进行编排，从而提供更加精准和高效的服务，包括但不限于检索、存储、安全、代码、审计等工具能力的集合。举个例子，在智能问答的应用中，不仅仅需要依赖一个生成模型，同时也需要结合内容检索和安全性识别的能力。
(4)大模型应用层：是整个架构的最高层，这些应用包括智能问答系统、写作助手、观点提取、智能助教、标题生成以及文本总结等。
对于规模较大的企业，可能需要建设好这四层。但对于小规模的企业和创业团队来说，许多开源平台和云平台都提供了包含模型引擎、模型工具和基础设施的服务。因此只需要利用现有的资源，针对具体的业务场景，专注于做好路由和编排相关的工作，或者偶尔准备少量数据，进行少量模型微调，就能以相对较低的成本实现需求。
2.应用开发生命周期当具备相应技术能力时，开发大型模型应用需遵循一般项目开发的生命周期，包括需求定义、方案设计、方案开发以及部署&迭代等四个主要环节。
需求定义与方案设计阶段，主要从两个方向进行考量：
■首先，明确业务范畴与交互场景。这要求界定产品功能中哪些部分依赖大模
型支持并确定其交互边界。以聊天功能为例，需要界定大模型在其中的作用范围和交互限制，通常大模型与用户的交互界面是一个聊天框，因此，交互设计应以聊天为主，并支持流式输出，这是设计过程中需考虑的第一个方面。
■其次是关注业务目标。以聊天为例，若产品属性为工具类，如智能助手，业
务目标应为用户需求达成率，衡量这一目标，可观察用户点赞数量或正反馈数量；若产品属性为情感陪伴，则应关注对话轮次和对话次数，在这一场景
下，期望AI与用户进行尽可能多的交流和陪伴，因此数据埋点需相应调整。方案开发阶段，也包括两个方向：
■模型选择是关键步骤，需要依据不同应用场景挑选最合适的模型。例如，针
对多轮对话场景，更倾向于选择对话效果更优的模型，如LLaMA chat等模型；在知识问答方面，更倾向于选择具有高检索能力和安全性的工具。在此基础上进行效果调优，包括PE、模型微调以及强化学习等。调优完成后，将对模型本身的效果进行评估，评估每个阶段的效果均达到预期后，还需对
本文来自知之小站
PDF完整报告已分享至知识星球，微信扫码加入立享4万+最新精选报告
（星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com）
