家附近找了个咖啡馆。

初五下午，大部分人都还在放假，咖啡馆里比平时工作日要热闹多了。

三个人找了张桌子坐下来，一人点了一杯热拿铁。

韩路一和张彪刚开完长途车，看起来都有点儿疲惫。赵文渊倒是精神头十足。

“韩总，好消息！预训练的进度这两天稳定下来了。”赵文渊兴奋地说，“下一步就是退火了。”

张彪已经在旁边掏出了笔记本，乍一听这个名词，还以为是自己听错了。

他现在也主动多了，知道这些东西自己早晚都得接触，就算不懂原理，也要了解一下大概。

所以他举起手，动作像一个在课堂上提问的小学生。

赵文渊看看张彪，说：“怎么了？”

“什么叫退火？”张彪问道。

“退火就是——”赵文渊想了想，“annealg。”

张彪的头上写满了问号，你这个解释和没解释有什么区别？

韩路一在旁边没忍住笑了一声，开口解释道：“退火本来是冶金里面的术语，因为形象，所以模型训练的时候也借鉴了过来。”

张彪想了想，说：“就是铁匠打铁，往水里「嗤」的那一下？”

赵文渊忍不住纠正道：“你说的那个是quenchg，中文叫淬火，要的是急速冷却。退火不一样，是慢慢冷却。”

韩路一说：“不用纠结这个，就是一个比喻，差不多就是那个意思。”

然后韩路一从张彪手里拿过笔记本和圆珠笔，在上面边画边说道：“咱们说过，模型训练分为预训练和后训练。但是在预训练的最后阶段，还有一个特殊的阶段，就是退火。”

说到这，韩路一已经在本子上画出了一个简单的示意图，用笔在其中一个地方点了一下。

“在这里，前面喂的数据已经足够多，足够杂了，但是都是些背景知识，想要让模型的基础能力提升，在这个阶段要单独给很多高质量的语料，例如经过筛选的代码库、文学出版物之类的。”

韩路一画完，觉得解释的似乎还不够通俗易懂，于是又加了一句：“如果说一开始的阶段是从小学到高二上课学知识，现在就是高三复习刷真题，不是什么都学了，而是只学最经典、最有代表性的题。”

然后他把笔记本转回给张彪。

张彪接过笔记本，对韩路一举的例子并没有什么感同身受——他没刷过真题。

但是他感觉自己这一回听两个高材生讨论，已经不像以前那么一头雾水了。

“这个阶段一般来说耗时比较短。”韩路一说完，转向赵文渊，“你预计还需要多久？”

赵文渊伸出一只手：“最慢最慢，五天就够了。”

然后他把手收回去，端起拿铁喝了一口。

“退火数据是我和团队之前就准备好的，三千万条高质量的代码片段，一批精选的各领域书籍和学术论文。”

“原因呢？”韩路一问，“是大年初一修了那次数据问题之后，曲线更稳了？”

“那是一部分。”赵文渊点头，“主要的原因是您前面写的那套清洗规则的收益比预期高，原始数据的质量显著高于业内的标准。无效数据少了

章节内容不完整，请退出阅读模式查看完整内容！