√理解输入：分布式语义解析，首先会接收文本序列，转化为词向量，也称为嵌入。该过程基于分布式语义假设，即词义由其在上下文中的使用决定。

√参数关联：上下文焦点连锁，将这些词向量输入到Transformer的Encoder中生成上下文表示。可以看作是在其内部参数模型中寻找与输入相关的信息，也可视为一种连锁反应，因为每个词的上下文表示都取决于其前面的词的上下文表示。

√生成回答：生成性概率建模，模型初始化Transformer的Decoder部分，并将Encoder的输出(即上下文表示)和当前的输出序列一同输入到Decoder中。Decoder会生成下一个词的概率分布。选择概率最大或其他设定的概率分布的词作为输出，这个词将被添加到输出序列。√选择最适回答：动态词串演化，重复上述步骤，每次都向输出序列中添加新的词，直到生成一个完整的输出序列。

尽管该过程被称为推理，但ChatGPT开源版本并不进行明确的逻辑推理，它不能理解或推导复杂的事实。因为开源版本的ChatGPT并没有明确的知识或推理引擎，所有知识都是隐含在模型参数中的。

本文来自知之小站

PDF报告已分享至知识星球，微信扫码加入查阅下载3万+精选资料，年享1万+精选更新

（星球内含更多未发布精选报告.其它事宜可联系zzxz_88@163.com）