斯坦福大学李飞飞团队训练出媲美DeepSeek的推理模型，费用不到50美元

斯坦福大学李飞飞团队联合华盛顿大学研究人员以不到50美元的云计算费用训练出名为s1的人工智能推理模型，该模型在数学和编码能力测试中表现媲美OpenAI的o1和DeepSeek的R1等尖端推理模型。模型基础与训练方法s1模型通过蒸馏法从谷歌推理模型Gemini 2.0 Flash Thinking Experimental提炼而来。研究团队采用test-time scaling方法，构建了一个小型数据集s1K（包含1000个精心筛选的问题及答案，并附推理过程），仅使用16台英伟达H100 GPU训练26分钟即完成模型优化。这一方法与传统大规模强化学习（RL）形成对比，后者成本高昂且依赖海量计算资源，而s1通过监督微调（SFT）蒸馏推理模型，显著降低了训练成本。图：s1模型基于蒸馏法的训练流程，通过小型数据集和短时间训练实现高效优化成本控制与资源利用“不到50美元”的费用仅涵盖云计算服务成本，不包括服务器、显卡等硬件投入（由云厂商承担）。研究团队通过以下策略实现低成本：硬件效率：仅使用16台H100 GPU，训练时间压缩至26分钟，远低于传统模型动辄数周的训练周期。数据精简：s1K数据集通过难度、多样性和质量三重标准筛选，避免冗余数据，提升训练针对性。技术优化：采用“预算强制”技术控制测试时间计算，通过提前终止或延长模型思考过程优化性能，减少无效计算。性能表现与验证在数学和编码能力测试中，s1的表现与OpenAI的o1、DeepSeek的R1等模型相当。例如：数学推理：在复杂数学问题求解中，s1的准确率与尖端模型接近，且推理过程更简洁。编码任务：在代码生成和调试测试中，s1的效率与质量达到行业领先水平，验证了蒸馏法在小规模数据上的有效性。图：s1在数学和编码测试中的表现与DeepSeek R1、OpenAI o1等模型对比对传统AI研发模式的挑战s1的研究成果揭示了AI模型训练的潜在范式转变：低成本普惠化：通过优化算法和资源利用，中小型团队可低成本训练高性能模型，降低AI技术门槛。方法论创新：蒸馏法与监督微调的结合，为推理模型训练提供了新路径，避免了对大规模强化学习的依赖。效率优先：研究强调“小数据、短时间、高精度”的平衡，推动AI研发从“资源密集型”向“效率密集型”转型。总结：李飞飞团队的s1模型通过蒸馏法、小型数据集和硬件效率优化，以极低成本实现了与顶尖推理模型媲美的性能。这一成果不仅挑战了传统AI研发的高成本模式，也为未来低成本、高效率的模型训练提供了可复制的范例。