推荐 TinyStories 数据集训练超小模型

事件本身

Andrej Karpathy 在 X 上推荐 TinyStories 数据集用于在 Apple Silicon（M 系列芯片）上训练极小语言模型（典型规模在 1M–10M 参数级别）。他认为这是当前「最干净」的小模型训练语料——理由是 TinyStories 由 GPT-3.5/4 合成生成，词汇只覆盖 3–4 岁儿童能理解的英语，语法干净、无毒、无版权争议，几乎不需要额外的清洗或去重。

解决的问题

小模型研究一直卡在两个点上：一是 数据脏，拿 CommonCrawl 一类网页语料训小模型，噪声会盖过信号；二是 成本不友好，研究者往往没有 A100 集群，本地 GPU 又跑不动完整预训练。TinyStories + Apple Silicon 的组合直接绕开了这两点：合成数据天然干净，MPS 后端的 PyTorch 训练 1–10M 参数模型在 MacBook 上几十分钟到几小时就能跑完。

相比之前的方案有什么变化

过去做小模型 toy research 通常用莎士比亚文本、Wikipedia 抽样、或 LLaMA 蒸馏，前两者太小且分布偏，后者和「从零预训练小模型」的研究目的相冲突。TinyStor