全球掀DeepSeek复现狂潮！硅谷巨头神话崩塌，30刀见证啊哈时刻

媒体滚动2025-01-26

专题：DeepSeek为何能震动全球AI圈　　新智元报道　　编辑：编辑部 HYZ 　　【新智元导读】就在刚刚，网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证‘啊哈时刻’！全球AI大模型，或许正在进入下一分水岭。　　这些天，硅谷彻底处于中国公司带来的大地震余波中。　　全美都在恐慌：是否全球...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2506380730?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2025-01-26 11:58","share_image_url":"https://static.laohu8.com/b0d1b7e8843deea78cc308b15114de44","id":"2506380730","market":"sg","top_or_hot":-1,"title":"全球掀DeepSeek复现狂潮！硅谷巨头神话崩塌，30刀见证啊哈时刻","media":"媒体滚动","content":"<div>\n<p>专题：DeepSeek为何能震动全球AI圈\n\n　　新智元报道\n　　编辑：编辑部 HYZ\n　　【新智元导读】就在刚刚，网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证‘啊哈时刻’！全球AI大模型，或许正在进入下一分水岭。\n　　这些天，硅谷彻底处于中国公司带来的大地震余波中。\n　　全美都在恐慌：是否全球...</p>\n\n<a href=\"https://finance.sina.com.cn/roll/2025-01-26/doc-inehhksh0101273.shtml\">网页链接</a>\n\n</div>\n","source":"sina","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>全球掀DeepSeek复现狂潮！硅谷巨头神话崩塌，30刀见证啊哈时刻</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n全球掀DeepSeek复现狂潮！硅谷巨头神话崩塌，30刀见证啊哈时刻\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-01-26 11:58 北京时间&nbsp;&nbsp;&nbsp;<a href=https://finance.sina.com.cn/roll/2025-01-26/doc-inehhksh0101273.shtml><strong>媒体滚动</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>专题：DeepSeek为何能震动全球AI圈\n\n　　新智元报道\n　　编辑：编辑部 HYZ\n　　【新智元导读】就在刚刚，网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证‘啊哈时刻’！全球AI大模型，或许正在进入下一分水岭。\n　　这些天，硅谷彻底处于中国公司带来的大地震余波中。\n　　全美都在恐慌：是否全球...</p>\n\n<a href=\"https://finance.sina.com.cn/roll/2025-01-26/doc-inehhksh0101273.shtml\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"SFT","symbol_name":"Shift Technologies, Inc.","start_time":0,"source_url":"https://finance.sina.com.cn/roll/2025-01-26/doc-inehhksh0101273.shtml","article_id":"2506380730","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2506380730","pubTimestamp":1737863880,"columns":[],"sourceInfo":{"source_id":"sina","name":"sina"},"weMediaInfo":null,"summary":"　　就在刚刚，网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证‘啊哈时刻’！全球AI大模型，或许正在进入下一分水岭。　　这些天，硅谷彻底处于中国公司带来的大地震余波中。　　来自UC伯克利博士生潘家怡和另两位研究人员，在CountDown游戏中复现了DeepSeek R1-Zero。　　更令人兴奋的是，成本不到30美金，就可以亲眼见证‘啊哈’时刻。","collect":0,"end_time":0,"defaultTopTitle":"sina.com.cn","property":[],"viewcount":null,"language":"zh","relate_stocks":{"SFT":"Shift Technologies, Inc.","BK4214":"汽车零售"},"translate_title":"The global DeepSeek reappearance frenzy! The myth of Silicon Valley giants collapses, 30 knives witness the aha moment","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"SFT":1},"content_text":"专题：DeepSeek为何能震动全球AI圈\n\n　　新智元报道\n　　编辑：编辑部 HYZ\n　　【新智元导读】就在刚刚，网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证‘啊哈时刻’！全球AI大模型，或许正在进入下一分水岭。\n　　这些天，硅谷彻底处于中国公司带来的大地震余波中。\n　　全美都在恐慌：是否全球人工智能的中心已经转移到了中国？\n　　就在这当口，全球复现DeepSeek的一波狂潮也来了。\n　　诚如LeCun所言：‘这一次，正是开源对闭源的胜利！’\n\n　　种种这些观点和讨论，让人不禁怀疑：数百亿美元支出，对这个行业真的必要吗？甚至有人说，中国量化基金的一群天才，将导致纳斯达克崩盘。\n　　从此，大模型时代很可能会进入一个分水岭：超强性能的模型不再独属于算力巨头，而是属于每个人。\n　　30美金，就能看到‘啊哈’时刻\n　　来自UC伯克利博士生潘家怡和另两位研究人员，在CountDown游戏中复现了DeepSeek R1-Zero。\n　　他们表示，结果相当出色！\n　　实验中，团队验证了通过强化学习RL，3B的基础语言模型也能够自我验证和搜索。\n　　更令人兴奋的是，成本不到30美金（约217元），就可以亲眼见证‘啊哈’时刻。\n\n　　这个项目叫做TinyZero，采用了R1-Zero算法——给定一个基础语言模型、提示和真实奖励信号，运行强化学习。\n　　然后，团队将其应用在CountDown游戏中（这是一个玩家使用基础算术运算，将数字组合以达到目标数字的游戏）。\n　　模型从最初的简单输出开始，逐步进化出自我纠正和搜索的策略。\n　　在以下示例中，模型提出了解决方案，自我验证，并反复纠正，直到解决问题为止。\n\n　　在消融实验中，研究人员运行了Qwen-2.5-Base（0.5B、1.5B、3B、7B四种参数规模）。\n　　结果发现，0.5B模型仅仅是猜测一个解决方案然后停止。而从1.5B开始，模型学会了搜索、自我验证和修正其解决方案，从而能够获得更高的分数。\n　　他们认为，在这个过程，基础模型的是性能的关键。\n\n　　他们还验证了，额外的指令微调（SFT）并非是必要的，这也印证了R1-Zero的设计决策。\n\n　　这是首个验证LLM推理能力的实现可以纯粹通过RL，无需监督微调的开源研究\n　　基础模型和指令模型两者区别：\n\n　　此外，他们还发现，具体的RL算法并不重要。PPO、GRPO、PRIME这些算法中，长思维链（Long CoT）都能够涌现，且带来不错的性能表现。\n\n　　而且，模型在推理行为中非常依赖于具体的任务：\n\n　　苹果机器学习科学家Yizhe Zhang对此表示，太酷了，小到1.5B的模型，也能通过RL涌现出自我验证的能力。\n\n　　7B模型复刻，结果令人惊讶\n　　港科大助理教授何俊贤的团队（共同一作黄裕振、Weihao Zeng），只用了8K个样本，就在7B模型上复刻出了DeepSeek-R1-Zero和DeepSeek-R1的训练。\n　　结果令人惊喜——模型在复杂的数学推理上取得了十分强劲结果。\n\n\n　　项目地址：https：//github.com/hkust-nlp/simpleRL-reason\n　　他们以Qwen2.5-Math-7B（基础模型）为起点，直接对其进行强化学习。\n　　整个过程中，没有进行监督微调（SFT），也没有使用奖励模型。\n　　最终，模型在AIME基准上实现了33.3%的准确率，在AMC上为62.5%，在MATH上为77.2%。\n　　这一表现不仅超越了Qwen2.5-Math-7B-Instruct，并且还可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美！\n\n\n　　其中，Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基础模型上仅使用纯PPO方法训练的，仅采用了MATH数据集中的8K样本。\n　　Qwen2.5-7B-SimpleRL则首先通过Long CoT监督微调（SFT）作为冷启动，然后再进行强化学习。\n　　在这两种方法中，团队都只使用了相同的8K MATH样本，仅此而已。\n　　大概在第44步的时候，‘啊哈时刻’出现了！模型的响应中，出现了自我反思。\n\n　　并且，在这个过程中，模型还显现了更长的CoT推理能力和自我反思能力。\n\n　　在博客中，研究者详细剖析了实验设置，以及在这个强化学习训练过程中所观察到的现象，例如长链式思考（CoT）和自我反思机制的自发形成。\n　　与DeepSeek R1类似，研究者的强化学习方案极其简单，没有使用奖励模型或MCTS（蒙特卡洛树搜索）类技术。\n　　他们使用的是PPO算法，并采用基于规则的奖励函数，根据生成输出的格式和正确性分配奖励：\n　　该实现基于OpenRLHF。初步试验表明，这个奖励函数有助于策略模型快速收敛，产生符合期望格式的输出。\n　　第一部分：SimpleRL-Zero（从头开始的强化学习）\n　　接下来，研究者为我们分享了训练过程动态分析和一些有趣的涌现模式。\n　　训练过程动态分析\n　　如下所示，所有基准测试的准确率在训练过程中都在稳步提高，而输出长度则呈现先减少后逐渐增加的趋势。\n　　经过进一步调查，研究者发现，Qwen2.5-Math-7B基础模型在初始阶段倾向于生成大量代码，这可能源于模型原始训练数据的分布特征。\n　　输出长度的首次下降，是因为强化学习训练逐渐消除了这种代码生成模式，转而学会使用自然语言进行推理。\n　　随后，生成长度开始再次增加，此时出现了自我反思机制。\n\n　　训练奖励和输出长度\n\n　　基准测试准确率（pass@1）和输出长度\n　　自我反思机制的涌现\n　　在训练到第 40 步左右时，研究者观察到：模型开始形成自我反思模式，这正是DeepSeek-R1论文中所描述的‘aha moment’（顿悟时刻）。\n\n　　第二部分：SimpleRL（基于模仿预热的强化学习）\n　　如前所述，研究者在进行强化学习之前，先进行了long CoT SFT预热，使用了8，000个从QwQ-32B-Preview中提取的MATH示例响应作为SFT数据集。\n　　这种冷启动的潜在优势在于：模型在开始强化学习时已具备long CoT思维模式和自我反思能力，从而可能在强化学习阶段实现更快更好的学习效果。\n\n　　与RL训练前的模型（Qwen2.5-Math-7B-Base + 8K QwQ知识蒸馏版本）相比，Qwen2.5-7B-SimpleRL的平均性能显著提升了6.9个百分点。\n　　此外，Qwen2.5-7B-SimpleRL不仅持续优于Eurus-2-7B-PRIME，还在5个基准测试中的3个上超越了Qwen2.5-7B-SimpleRL-Zero。\n　　训练过程分析\n\n　　训练奖励和输出长度\n\n　　基准测试准确率（pass@1）和输出长度\n　　Qwen2.5-SimpleRL的训练动态表现与Qwen2.5-SimpleRL-Zero相似。\n　　有趣的是，尽管研究者先进行了long CoT SFT，但在强化学习初期仍然观察到输出长度减少的现象。\n　　他们推测，这可能是因为从QwQ提取的推理模式不适合小型策略模型，或超出了其能力范围。\n　　因此，模型选择放弃这种模式，转而自主发展新的长链式推理方式。\n　　最后，研究者用达芬奇的一句话，对这项研究做了总结——\n　　简约，便是最终极的精致。\n\n　　完全开源复刻，HuggingFace下场了\n　　甚至，就连全球最大开源平台HuggingFace团队，今天官宣复刻DeepSeek R1所有pipeline。\n　　复刻完成后，所有的训练数据、训练脚本等等，将全部开源。\n\n　　这个项目叫做Open R1，当前还在进行中。发布到一天，星标冲破1.9k，斩获142个fork。\n\n　　项目地址：https：//github.com/huggingface/open-r1\n　　研究团队以DeepSeek-R1技术报告为指导，将整个复刻过程划分为三个关键步骤。\n\n　　从斯坦福到MIT，R1成为首选\n　　一个副业项目，让全世界科技大厂为之惶恐。\n　　DeepSeek这波成功，也成为业界的神话，网友最新截图显示，这款应用已经在APP Store‘效率’应用榜单中挤进前三。\n\n　　在Hugging Face中，R1下载量直接登顶，另外3个模型也霸占着热榜。\n\n　　a16z合伙人Anjney Midha称，一夜之间，从斯坦福到MIT，DeepSeek R1已经成为美国顶尖高校研究人员‘首选模型’。\n\n　　还有研究人员表示，DeepSeek基本上取代了我用ChatGPT的需求。\n\n　　中国AI，这一次真的震撼了世界。\n　　参考资料：\n　　https：//x.com/junxian_he/status/1883183099787571519\n　　https：//x.com/jiayi_pirate/status/1882839370505621655\n\n\n\n海量资讯、精准解读，尽在新浪财经APP\n\n责任编辑：石秀珍 SF183","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"-1","news_tag":"","news_rank":0,"isVideo":false,"video":null,"symbols":[],"gpt_button":1,"need_auth":false,"need_login_tip":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"tenantId":"TBCN","deviceId":"web-server-community-laohu8-v3","version":"4.42.2","shortVersion":"4.42.2","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2506380730","isCrawlerRequest":true}