任务 A · 小型 Transformer
从零实现并在本机 CPU 训练语言模型，实测 KV cache 与中文故事续写。
从随机初始化开始，用 PyTorch 实现和训练 decoder-only Transformer，并把中文权重接入本机学习网页，测试模型怎样接着上文写故事。
打开 Transformer 试写工作台，可以保存草稿并采纳模型建议。
在线试用中文续写
输入一个中文故事开头，体验第 18,400 步中文模型。模型会接着写一句，输出有时会偏题或不完整。
模型续写
等待生成
任务 A 中文模型 · 第 18,400 步
实验记录
- 英文基础模型有约 25 万参数，验证交叉熵从 4.3101 降到 2.3680。
- 推理优化使用 KV cache。在本机单线程 CPU 上，两组提示的解码加速分别为 2.62 倍和 4.49 倍，贪心输出逐 token 一致。
- 中文续写模型有约 107 万参数。候选权重在 627 篇留出故事上的逐 token 交叉熵从 11.3801 降到 1.9320，三选一仍是 26/80。