券商观点|AI产业速递:李飞飞推出低成本模型S1,模型蒸馏加速AI平权
2025年2月12日,长江证券发布了一篇计算机行业的研究报告,报告指出,李飞飞推出低成本模型S1,模型蒸馏加速AI平权。
报告具体内容如下:
事件描述 2月6日消息,李飞飞等斯坦福大学和华盛顿大学研究人员近日以不到50美元(注:仅为云计算服务费用,不包括服务器、显卡等硬件投入费用,因这部分已经由云厂商承担)的云计算费用训练了一个名叫s1的人工智能推理模型。该模型在数学和编码能力测试中的表现与OpenAI的o1和DeepSeek的R1等尖端推理模型类似。 事件评论
低成本、高性能,S1持续推进大模型降本。为了训练S1模型,李飞飞团队租用了16个英伟达H100GPU进行了26分钟的训练,租用这些计算资源的成本约为20美元。同时,S1在数学和编程能力测试中表现出与OpenAI的o1和DeepSeek的R1等顶尖推理模型相似的水平。通过技术升级,大模型成本正持续下降,或将进一步推动AI普及,从而加速商业化进程。
蒸馏技术或是大模型降本关键。根据S1的论文,S1使用了监督微调(SFT)技术,可以使用相对较小的数据集来蒸馏推理模型。通过该技术,S1以阿里通义千问(Qwen)模型为基座模型进行微调,蒸馏了谷歌推理模型Gemini2.0FlashThinkingExperimental的1000个样本。基于已有的强大基座模型使用大模型蒸馏将大型复杂模型(教师模型)的知识迁移到小型高效模型(学生模型),可以在保持模型性能的同时,显著降低模型的计算复杂度和存储需求。这在某种程度上有望成为AI大模型低成本训练的方向。
技术开源有望持续推进AI产业技术迭代进程。目前,S1模型及其训练所用的数据和代码已在GitHub上开源。同时,近期发布的开源大模型DeepSeek-R1快速走红,吸引了大量企业接入和使用。AI大模型的开源趋势有望推动大模型技术合作与共享,加速人工智能技术迭代。
大模型持续降本,AI应用有望加速落地。推理模型持续迭代,在模型推理能力显著提升的同时,成本持续下降,或加速垂类模型应用落地进程。建议关注:1)中国领先的AI大模型厂商,重点推荐国产大模型领军科大讯飞(002230);2)中国推理算力产业链,重点推荐国内AI芯片领军寒武纪。
风险提示
1、AI技术发展不及预期;
2、下游应用需求不及预期。
声明:本文引用第三方机构发布报告信息源,并不保证数据的实时性、准确性和完整性,数据仅供参考,据此交易,风险自担。
0人