这一节原本是放在 model basic 里的一个子章节,但后来随着相关内容越来越多,我把它单独拆了出来,作为一个独立章节来整理。
这一章主要记录的是围绕模型技术结构展开的一些后续改进与优化。例如,如何减少显存开销、如何提升训练或推理速度,以及如何支持更长上下文等。这些内容和基础模型主线的关系,更像是“专题展开”,而不是“主线必读”。
因此,这一章的阅读顺序和其他章节不太一样。它不需要在一开始就完整读完,下面各个小节也不是按照严格的先后顺序组织的。更合适的阅读方式是:当你在学习或实现中遇到某个具体问题时,再回到这里查阅对应的专题。
后面我也会继续把更多和模型结构优化相关的内容逐步补充到这一章里,让它慢慢成为一个围绕“模型改进点”的专题索引。