1.1.1、大语言模型(LLMs)的兴起——自回归架构强化文本生成能力
●语言模型是一种人工智能系统，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关
的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。大语言模型(LLMs)是语言模型系统的子集。大语言模型规模显著更大，通常包含数十亿个参数(例如，GPT-3拥有1750亿个参数),使得大语言模型在广泛的任务中表现出卓越的性能。大语言模型这一术语在2018至2019年间随着基于Transformer架构的模型出现开始受到关注，在2020年GPT-3发布后，LLMs开始被广泛使用。
◎大多数LLMs以自回归方式操作，根据前面的文本预测下一个字(或token/sub-word)的概率分布。这种自回归特性使模型能够学习复杂的语言模式和依赖关系，从而善于文本生成。在文本生成任时，LLM通过解码算法确定下一个输出的字，这一过程可以采用的策略包括：1)选择概率最高的下个字；2)从预测的概率分布中随机采样一个字。
1.1.2、Transformer架构克服RNN长文本局限性，标志着NLP的分水岭时刻
02017年谷歌团队提出Transformer模型，Transformer架构也标志着NLP的分水岭时刻。Transformer突破了早期模型如循环神经网络(RNNs)与长短期记忆网络(LSTMs)在捕捉长依赖及顺序处理上的难点，同时RNN和LSTMs计算低效目易受梯度消失等问题困扰。Transformer的横空出世扫清了这些障碍，重塑了该领域格局，并为当代大型语言模型发展铺设了基石。
1.1.4、Transformer核心点1——自注意力机制(Self-Attention)
◎注意力机制允许模型在解码时，根据当前生成的词动态地关注输入序列中的不同部分，有效捕捉与输出相关的输入信息，而非依赖于某个固定的上下文向量。注意力机制使得模型更容易捕捉长距离依赖关系，模型在每个时间步都可以选择关注距离较远的输入部分。数学表达上，注意力度量两个向量之间的相似性并返回加权相似性分数，标准的注意力函数接受三个主要输入，即查询、键和值向量。
◎例如，在电商平台搜索特定商品时，输入内容即为Query,搜索引擎据此匹配Key(涵盖商品种类、颜色、描述等),并通过计算Query与Key的相似度(即权值),得出匹配内容(Value)。
本文来自知之小站
PDF报告已分享至知识星球，微信扫码加入立享3万+精选资料，年更新1万+精选报告
（星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com）
