引言
虽然我们距离Trasfime的突破只有几年，但大型语言模型(IM)在性能。成本和潜力方面已经有了巨大的提升。但很多关键细节和关键决策点通常都是口口相传的。
本白皮书的目标是提炼出训炼自己的大型语言模型(LIM)的最住实践，我们将覆盖从缩放和硬件配置到数据集选择和模型训练的所有方面，以帮助您了解需要权衔的因素，并在这个过程中指出一些潜在的问题。这份白皮书旨在深入探讨从零开始训练LIM时霄要考虑的关键步和注意事项。
您应该苗先考惠的问题是，从零开始训练一个大型语言模型是否适命您的坦坝。因此，我们将从这里开始：
自建与采购预训练过的LM模型
在开始LM的预训练之前，你需要阿的第一个问题是，你是应该自己预训练一个LIM,还是使用一个现有的LIM.有三种基本方法：
选项1:使用商业LUM的API。
一
选项2:使用现有的开源LIM。
选项3:通过自己或与商业伙伴一起时LM进行训练。
也就是说，在你低出选择时，有很多细节需要考虑。以下是每种选项的优点。缺点和适用的场景：
本文来自知之小站
PDF完整报告已分享至知识星球，微信扫码加入立享4万+最新精选报告
（星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com）
