1月27日,DeepSeek AI智能助手登上中美iOS免费应用排行榜榜首,这是中国应用首次取得这一成绩。与此同时,与该公司相关的多个词条进入微博热搜,其中一条是“DeepSeek彻底爆发”。这背后反映了开源模型追赶甚至超越闭源模型的情绪。
事实上,DeepSeek在这几天并没有特别的动作,将其推上舆论中心的力量主要来自meta。三天前,在美国匿名职场社区teamblind上,有meta员工表示,DeepSeek的低成本训练工作让meta的生成式AI团队感到恐慌,工程师们正努力分析DeepSeek,试图从中复制任何可能的东西。随后,meta首席人工智能科学家杨立昆在X平台上表示,对于认为“中国在人工智能领域正在超越美国”的人,正确的看法是“开源模型正在超越闭源模型”。
DeepSeek并不是突然崛起。从DeepSeek-V2开始,这家公司已被硅谷视为一股神秘力量。它在国内大模型行业率先发起了一场真正意义上的“降价潮”,凭借“MoE+MLA”架构创新实现了成本降低。近期热议的原因在于它在过去一个月内相继发布了DeepSeek-V3和R1两款大模型产品。
2024年底,DeepSeek发布新一代MoE模型DeepSeek-V3,拥有6710亿参数,激活参数为370亿,在14.8万亿token上进行了预训练。V3在知识类任务上接近当前表现最好的Claude-3.5-Sonnet-1022,在代码能力上稍好于后者,并且在数学能力上领先其他开闭源模型。更重要的是,DeepSeek-V3的总训练成本仅为557.6万美元,完整训练消耗了278.8万个GPU小时,几乎是同等性能水平模型所需成本的十分之一。
一周前,DeepSeek发布了推理模型R1,其性能对齐OpenAI-o1正式版,并同步开源模型权重。R1在多项任务上与OpenAI-o1-1217基本持平,尤其在AIME 2024、MATH-500、SWE-Bench Verified三项测试集上以微弱优势取胜。此外,R1还开源了仅通过强化学习训练的大语言模型R1-Zero,尽管没有人类监督数据介入,但该模型足以对标OpenAI-o1-0912,探索出仅通过强化学习就能获得推理能力的技术可能性。