Mediator
12-01
gpt的预训练瓶颈
OpenAI大溃败！GPT-5“换皮”GPT-4o，两年半预训练0突破
免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。
分享至
微信
复制链接
精彩评论
我们需要你的真知灼见来填补这片空白
打开APP，发表看法
APP内打开
发表看法
1
{"i18n":{"language":"zh_CN"},"detailType":1,"isChannel":false,"data":{"magic":2,"id":505943158218968,"tweetId":"505943158218968","gmtCreate":1764545696336,"gmtModify":1764545698981,"author":{"id":3498680662745699,"idStr":"3498680662745699","authorId":3498680662745699,"authorIdStr":"3498680662745699","name":"Mediator","avatar":"https://static.tigerbbs.com/ccbee84d06c97c8ea354bff2e5c20b6d","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":1,"currentWearingBadge":{"badgeId":"e50ce593bb40487ebfb542ca54f6a561-4","templateUuid":"e50ce593bb40487ebfb542ca54f6a561","name":"明星虎友","description":"加入老虎社区2000天","bigImgUrl":"https://static.tigerbbs.com/dddf24b906c7011de2617d4fb3f76987","smallImgUrl":"https://static.tigerbbs.com/53d58ad32c97254c6f74db8b97e6ec49","grayImgUrl":"https://static.tigerbbs.com/6304700d92ad91c7a33e2e92ec32ecc1","redirectLinkEnabled":0,"hasAllocated":1,"isWearing":1,"stampPosition":0,"hasStamp":0,"allocationCount":1,"allocatedDate":"2024.02.21","individualDisplayEnabled":0},"individualDisplayBadges":[],"fanSize":45,"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"title":"","html":"<html><head></head><body><p>gpt的预训练瓶颈</p></body></html>","htmlText":"<html><head></head><body><p>gpt的预训练瓶颈</p></body></html>","text":"gpt的预训练瓶颈","highlighted":1,"essential":1,"paper":1,"likeSize":1,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/505943158218968","repostId":2587795167,"repostType":2,"repost":{"id":"2587795167","kind":"news","pubTimestamp":1764485625,"share":"https://www.laohu8.com/m/news/2587795167?lang=&edition=full","pubTime":"2025-11-30 14:53","market":"us","language":"zh","title":"OpenAI大溃败！GPT-5“换皮”GPT-4o，两年半预训练0突破","url":"https://stock-news.laohu8.com/highlight/detail?id=2587795167","media":"新智元","summary":"OpenAI核心预训练，接连翻车？传言称，GPT-5的基石仍是GPT-4o，且GPT-4.5之后的预训练版本，都被OpenAI放弃了！在前沿模型预训练上，OpenAI的研发似乎陷入了僵局——如今第五代旗舰模型GPT-5，包括最新GPT-5.1，其“技术根基”本质或仍未突破GPT-4o的范畴。然而，OpenAI的Orion大规模预训练，却打破了这一常规，其训练时间超过了3个月。但至于GPT-5真正基于哪一款GPT打造，还有待证实。OpenAI主动放弃了这一范式，为劲敌让出了一条速通道。","content":"<html><head></head><body><blockquote><p>OpenAI被曝陷入严重技术停滞——其最新发布的GPT-5实质仍是基于GPT-4o架构的优化版本，自2022年GPT-4发布后长达两年半期间未能实现预训练技术的实质性突破。与此同时，谷歌凭借TPUv7在预训练领域突飞猛进，迫使OpenAI紧急启动新模型研发计划以应对技术落后危机。</p></blockquote><p>OpenAI核心预训练，接连翻车？</p><p>传言称，GPT-5的基石仍是GPT-4o，且GPT-4.5之后的预训练版本，都被OpenAI放弃了！</p><p>这么说并非空穴来风，核心爆料恰恰来自权威SemiAnalysis的最新一文——</p><p>OpenAI顶尖团队自GPT-4o发布之后，迄今尚未完成一次完整的，为下一代前沿模型设计的大规模预训练。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/17b01384fdead3e442ce6446294fcca2\" title=\"\" tg-width=\"1024\" tg-height=\"1317\"/></p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/48a85ba896dc71539eae0ffe7640c8fd\" title=\"\" tg-width=\"1024\" tg-height=\"163\"/></p><p>文章中，高级分析师强调：<a href=\"https://laohu8.com/S/GOOG\">谷歌</a>正手持TPUv7这把利剑，向<a href=\"https://laohu8.com/S/NVDA\">英伟达</a>王座发起冲锋，或将终结CUDA护城河。</p><p>众所周知，OpenAI全栈模型是在纯英伟达GPU上炼出的。</p><p>然而，圈内人的焦点，大都放在了大模型“推理”和“后训练”的硬件之上。</p><p>殊不知，没有前沿模型的预训练，一切皆是“无米之炊”。恰恰这一环节，成为了AI硬件里最难、最耗资源的一关。</p><p>如今，一个不为人知的内幕爆出了：</p><p>事实证明，<a href=\"https://laohu8.com/S/GOOGL\">谷歌</a>TPU彻底经受住了这一考验；</p><p>相较之下，自2024年5月GPT-4o诞生之后，OpenAI的预训练却毫无进展.....</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/96925999a2f079cdc34c93805d99a3ec\" title=\"\" tg-width=\"1024\" tg-height=\"284\"/></p><p>过去，两年半的时间，OpenAI没有真正Scaling预训练的规模。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/02adb07ec4500dfb06d8f57e9a419fc0\" title=\"\" tg-width=\"1024\" tg-height=\"682\"/></p><p>GPT的预训练，或许在GPT-4o之后触及了天花板，由此也解释了GPT-5性能未达业界预期的关键原因。</p><p>有网友表示，那不正是Ilya离开的时候吗.....</p><p>恰在昨天，Ilya最新发文称，Scaling不会停，但某个重要的东西仍然会缺失。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/7332362c7b866ea1b461ba37aa58e2b9\" title=\"\" tg-width=\"1024\" tg-height=\"153\"/></p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/4a4cc533e69b244512a4aa8458b68b1b\" title=\"\" tg-width=\"1024\" tg-height=\"420\"/></p><p><strong>OpenAI预训练，大溃败</strong></p><p>还记得去年底，那场铺天盖地的“Orion”传闻吗？</p><p>这一秘密项目，原定以GPT-5面世，但因训练未达预期，最终被降级为GPT-4.5发布。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/0a7e9650c9b0c237429ef77db04b2410\" title=\"\" tg-width=\"1024\" tg-height=\"350\"/></p><p>在前沿模型预训练上，OpenAI的研发似乎陷入了僵局——</p><p>如今第五代旗舰模型GPT-5，包括最新GPT-5.1，其“技术根基”本质或仍未突破GPT-4o的范畴。</p><p>SemiAnalysis去年底一篇文章，曾对外公开了Orion训练的困境。</p><p>当前，算法的进步使得模型每年所需的物理计算量减少约三分之一，因此，训练运行时间很少超过3个月。</p><p>甚至，行业中大多数预训练通常仅需要1-2个月。</p><p>然而，OpenAI的Orion大规模预训练，却打破了这一常规，其训练时间超过了3个月。</p><p>另据Information同一时间爆出，Orion不会像前代实现巨大的飞跃，相较于从GPT-3到GPT-4的迭代，改进幅度要小得多。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/1286f5442a0b9b02f8d2b0c7628caa7f\" title=\"\" tg-width=\"1024\" tg-height=\"306\"/></p><p>不仅如此，Orion性能提升也基本局限在——语言能力上，其代码能力甚至不如旧模型，且成本更高。</p><p>如今再回看2月，GPT-4.5的诞生，基于代号Orion的模型，OpenAI追求的是：</p><p>更强的语言能力+更稳的对话体验+更大知识库</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/4db88e04bca5ddff4684dcf0281db961\" title=\"\" tg-width=\"862\" tg-height=\"190\"/></p><p>情商，成为了GPT-4.5的关键词。代码虽有提升，但并非主菜。</p><p>这一切的一切，从侧面印证了，此前外媒关于“Orion遇挫”爆料的准确性——</p><p><strong>LLM有提升，但不大。</strong></p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/6921884c3cb5ce3f00bafde300764e6c\" title=\"\" tg-width=\"1024\" tg-height=\"660\"/></p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/a5b88a4b3e7a3c48111d7ed25362dabf\" title=\"\" tg-width=\"292\" tg-height=\"73\"/></p><p><strong>GPT-4o，成Scaling主线？</strong></p><p>今年8月，GPT-5的那场发布，奥特曼将其定调为“博士级AI，是通往AGI又一里程碑”。</p><p>实则，业界对于GPT-5的反响，唏嘘一片。</p><p>大家原本以为，GPT-5会是全面超越前代的一次飞跃，但实际发布后，更像是GPT-4.5的进一步优化版，不是“颠覆版”。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/877c420235c2765936cefa6b68976418\" title=\"\" tg-width=\"1024\" tg-height=\"261\"/></p><p>但至于GPT-5真正基于哪一款GPT打造，还有待证实。</p><p>正如之前传闻的猜测，有可能是GPT-4o，还有<a href=\"https://laohu8.com/S/RDDT\">Reddit</a>网友称是GPT-4.1....</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/519913614c83d5cfd2e45812c5779712\" title=\"\" tg-width=\"1024\" tg-height=\"310\"/></p><p>但不论是哪一款，都证明了GPT-5，没有在全新前沿模型的大规模预训练上淬炼。</p><p>搞笑的，那个曾将OpenAI三颗????????????“焊在”名字中的大佬，如今改成了三个????????????。</p><p>他表示，这已经不是什么秘密了——</p><p>GPT-4.5将预训练推向极致之后，OpenAI加倍投入了推理范式，主打o系列+RL。</p><p>不同的是，谷歌和Anthropic仍在Scaling预训练，并增强了强化学习。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/723129e431e6721ce0dc4559751fb026\" title=\"\" tg-width=\"1024\" tg-height=\"757\"/></p><p>OpenAI主动放弃了这一范式，为劲敌让出了一条速通道。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/c3e200950fd36f1cb9ff7b28189c45c9\" title=\"\" tg-width=\"1024\" tg-height=\"193\"/></p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/1704e104ceef163448365c26ab87c150\" title=\"\" tg-width=\"1024\" tg-height=\"156\"/></p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/612407691c118a53eda673fc15662d7f\" title=\"\" tg-width=\"1024\" tg-height=\"353\"/></p><p><strong>奥特曼：这事儿瞒不住了！</strong></p><p>Gemini 3发布后，谷歌和OpenAI攻守之势易形——</p><p>Gemini 3来势汹汹，而OpenAI这次终于坐不住了！</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/2513583f1a36406cc833dbd45d5f1b06\" title=\"\" tg-width=\"1024\" tg-height=\"455\"/></p><p>据泄露的内部备忘录，奥特曼坦言：“近期， 从各方面来看，谷歌在大语言模型表现出色”，特别是预训练。</p><p>这番表态标志OpenAI的重大转变——它终于承认，一个重新崛起的竞争对手与逐渐降温的企业需求，已彻底打破了其“天下无敌”的光环。</p><p>所谓预训练，是训练生成式AI模型（无论是文本还是图像）过程中的第一阶段。在这一阶段，研究人员会用网页等大量数据“投喂”模型，让它掌握数据之间的各种关联。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/67af68aad0c888ff9a44df3ff97dc271\" title=\"\" tg-width=\"1024\" tg-height=\"351\"/></p><p>大语言模型（LLM）开发与训练流程概述：预训练和后训练是关键</p><p>在预训练领域，谷歌取得了新突破，给Gemini 3带来了空前的推理深度。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/e8cfd09777725c8ba9c83e359f71534b\" title=\"\" tg-width=\"1024\" tg-height=\"935\"/></p><p>这让不少AI研究者颇感意外——</p><p>毕竟，OpenAI去年曾屡屡碰壁，而谷歌自己过去也曾陷入瓶颈。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/cb2d39f20abcbf0ca8a09b75fe93e7d6\" title=\"\" tg-width=\"1024\" tg-height=\"738\"/></p><p>正因如此，在一段时间内，OpenAI选择将更多精力转向另一种新型AI架构——“推理模型”，这种模型虽然计算量更大，但有望输出更优质的回答。</p><p>在推出GPT-5之前，OpenAI团队曾尝试对预训练阶段做出一系列调整，这些方法在小模型上有效，一旦模型变大就失效了。</p><p>GPT-5发布第二天，西班牙与波兰Talan公司AI应用负责人Javier Alba de Alba表示：</p><p>(GPT-5）整体观感颇为失望：</p><p>这是个优秀的模型——响应迅捷、价格亲民、能力全面，但远非人们基于OpenAI过往发布会所预期的代际飞跃。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/733e8aa6a1de749e77b4ae2d5fc36241\" title=\"\" tg-width=\"1024\" tg-height=\"347\"/></p><p>GPT-5带来了不少提升——</p><p>编程能力显著提升、推理能力进阶、幻觉现象减少、医疗领域表现优化，甚至免费用户也享有更长的默认使用时长。此外命名体系全面简化：GPT-4o/4.1/turbo/mini等繁杂名称悉数消失，统一更名为GPT-5。</p><p>不过，Javier Alba de Alba提醒：“千万不要被名称迷惑：GPT-5并非新一代产品。”他解释道：</p><p>技术层面而言，它更像是GPT-4o的功能增强版，即便命名为GPT-4.2也毫不违和。</p><p>OpenAI此举虽完成了必要的名称统一，但整场发布会未能达到预期，让技术社区颇感失落。</p><p>GPT-5发布后，Epoch AI也发现了其中的异常：</p><p>相比前代GPT-4.5，GPT-5很可能消耗了更少的训练算力。</p><p>虽然具体数值尚未公开，但GPT-4.5使用的训练算力极有可能超过GPT-5。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/d718b394a2db766bce08136b6bc7820a\" title=\"\" tg-width=\"1024\" tg-height=\"768\"/></p><p>预训练并未消亡，它依然是胜负关键。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/03ccaae7cb8157d43abeb1c182f453f6\" title=\"\" tg-width=\"1024\" tg-height=\"4357\"/></p><p>在内部会议中，奥特曼鼓舞士气，称在未来几个月，OpenAI将重新夺回优势。其中关键举措之一，就是打造一款代号为“Shallotpeat”的新一代大语言模型。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/426ef21c21851844e4005686c5f0d509\" title=\"\" tg-width=\"1024\" tg-height=\"656\"/></p><p>据知情人士透露，该模型的设计目标之一，就是专门修复OpenAI在预训练过程中遇到的种种“疑难杂症”。</p><p><strong>OpenAI：内部的风向变了</strong></p><p>GPT-5发布的实质是什么？</p><p>对现有ChatGPT用户而言，GPT-5是个好消息，但这并未开启<a href=\"https://laohu8.com/S/00166\">新时代</a>。</p><p>它只是进化历程中的一小步，而非革命性飞跃。</p><p>既然更多算力通常意味着更强性能，为何OpenAI会反其道而行？这对未来模型发展意味着什么？</p><p>在与a16z合伙人Martin Casado对话中，OpenAI平台工程负责人Sherwin Wu，深度拆解了OpenAI当前平台架构、定价逻辑与未来方向。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/4c40b2ba267dde1f05f4ec328eeb02c6\" title=\"\" tg-width=\"640\" tg-height=\"480\"/></p><p>在这次访谈中，他们深入探讨了为何开发者往往会长期依赖某个“值得信赖”的模型系列，信任感是如何建立的，以及为什么行业已经逐步放弃了“一个模型通吃所有任务”的幻想。</p><p>Sherwin还讲解了从提示词工程到上下文设计的演变过程，以及企业如何借助OpenAI的微调（fine-tuning）和RFT API，利用自有数据定制模型行为。</p><p><strong>共识已变</strong></p><p>几年前，OpenAI内部认为：未来会有一个“统治一切”的超级模型。但现在行业共识已经转变为“模型的专业化和多样化”。</p><p>虽然会有强大的通用模型，但也需要针对特定任务（如编程Codex、视频Sora）的专用模型。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/6ffb70725eae1fb889e3782b87239bba\" title=\"\" tg-width=\"1024\" tg-height=\"591\"/></p><p>文本、图像、视频背后的技术堆栈各不同。目前，在后台。这些模型往往是分开优化的独立系统，很难简单地“一锅炖”。</p><p>顺便提一句，正是DALL-E 2的出现让Sherwin决定加入OpenAI，因为那是他第一次感受到AI的魔力。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/f6e12233fa906f34344941cdb25a9810\" title=\"\" tg-width=\"902\" tg-height=\"934\"/></p><p><strong>而微调（Fine-tuning）也悄然进化——</strong></p><p>早期的微调，主要用于调整“语气”或“指令遵循”。 现在的重头戏，是强化学习微调（Reinforcement Fine-Tuning） 。</p><p>这允许企业利用其庞大的专有数据（Data Treasure Troves），将较小的模型在特定领域训练至SOTA水平。这是解锁企业数据的关键。</p><p>也就是说，企业拥有大量内部数据，但与ChatGPT“毫无关系”，对企业专属AI而言却是黄金。</p><p>他们多次提到AI代码编辑器Cursor作为建立在 OpenAI API 之上的成功产品案例，证明了：</p><p>即使OpenAI自己有竞品，开发者依然可以建立伟大的垂直应用。</p><p><strong>Agent开发模式</strong></p><p>从第一天起，奥特曼和Greg Brockman就确立了“App+ API”的双轨战略。</p><p>这样做是为了尽可能广泛地分发AGI的利益——</p><p>如果只做 API，你就无法触达普通消费者；如果只做应用，你就无法赋能各行各业的开发者。</p><p>在这次对话中，他们重点谈论了智能体开发工具“Agent Builder”。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/201dfae6a43449d8005d3da7970dee23\" title=\"\" tg-width=\"1024\" tg-height=\"619\"/></p><p>Sherwin认为，智能体（Agent）并非一种全新的模态，而是AI的一种新使用方式。</p><p>本质上，智能体是一个能够代表用户、在<strong>较长的时间跨度</strong>（Long Time Horizons）内执行一系列操作并完成任务的AI系统。</p><p>OpenAI曾推出了可视化的“Agent Builder”（节点式构建），但发现对于开发者而言，这种方式可能过于受限。</p><p>访谈中，Sherwin和Martin将智能体清晰地划分为两类，这解释了为什么目前市面上的Agent产品形态各异——</p><p>探索型/非定向工作 (Undirected/Exploratory Work)</p><p>流程型/SOP导向工作 (Procedural/SOP-oriented Work)</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/60688c8a0e1f7ff3a88cde86be9dc509\" title=\"\" tg-width=\"784\" tg-height=\"1168\"/></p><p><strong>在对话中，第二类</strong>Agent开发可能更像传统的软件工程或游戏开发中的<strong>NPC（非玩家角色）逻辑</strong>。</p><p>与其让模型完全自由发挥，不如通过代码给予它明确的逻辑框架和标准操作程序（SOP），特别是在受监管的行业（如客户支持、金融）。</p><p>也就是说，<strong>逻辑必须写死在代码里，而不是提示词里。</strong></p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/0febfd6f41c50dad6d657fa232544d55\" title=\"\" tg-width=\"1024\" tg-height=\"573\"/></p><p>这就是Agent Builder想要解决的问题：为那些必须控制智能体行为的行业和场景，提供一个简单、清晰、可验证的解决方案。</p><p><strong>One More Thing</strong></p><p>2025年度压轴大戏，谷歌Gemini 3 Pro无疑打了一场胜仗，但OpenAI不会袖手旁观。</p><p>内部已确认，圣诞节前夕，一连串发布连番轰炸。</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/068139b0bfd7eab3ce6848402d785da0\" title=\"\" tg-width=\"1024\" tg-height=\"531\"/></p><p>据传，一系列新模型，在路上了——</p><p>Image Gen v2</p><p>IMO和IOI金牌多模态模型</p><p>GPT-5.2 Codex</p><p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/d7469baa6b21e416b62badf3a90092a1\" title=\"\" tg-width=\"1024\" tg-height=\"358\"/></p><p>12月，AI圈一定非常热闹。</p><p> </p></body></html>","source":"lsy1569730104218","collect":0,"html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>OpenAI大溃败！GPT-5“换皮”GPT-4o，两年半预训练0突破</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\nOpenAI大溃败！GPT-5“换皮”GPT-4o，两年半预训练0突破\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-11-30 14:53 北京时间 <a href=https://mp.weixin.qq.com/s/Y4nvwCeB8xXXPD4-MEeNeg><strong>新智元</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>OpenAI被曝陷入严重技术停滞——其最新发布的GPT-5实质仍是基于GPT-4o架构的优化版本，自2022年GPT-4发布后长达两年半期间未能实现预训练技术的实质性突破。与此同时，谷歌凭借TPUv7在预训练领域突飞猛进，迫使OpenAI紧急启动新模型研发计划以应对技术落后危机。OpenAI核心预训练，接连翻车？传言称，GPT-5的基石仍是GPT-4o，且GPT-4.5之后的预训练版本，都被...</p>\n\n<a href=\"https://mp.weixin.qq.com/s/Y4nvwCeB8xXXPD4-MEeNeg\">Web Link</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","type":0,"thumbnail":"https://static.tigerbbs.com/bf31e5a2ea5c40f9fab4d1b4548dc76d","relate_stocks":{"GOOG":"谷歌","GOOGL":"谷歌A"},"source_url":"https://mp.weixin.qq.com/s/Y4nvwCeB8xXXPD4-MEeNeg","is_english":false,"share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","article_id":"2587795167","content_text":"OpenAI被曝陷入严重技术停滞——其最新发布的GPT-5实质仍是基于GPT-4o架构的优化版本，自2022年GPT-4发布后长达两年半期间未能实现预训练技术的实质性突破。与此同时，谷歌凭借TPUv7在预训练领域突飞猛进，迫使OpenAI紧急启动新模型研发计划以应对技术落后危机。OpenAI核心预训练，接连翻车？传言称，GPT-5的基石仍是GPT-4o，且GPT-4.5之后的预训练版本，都被OpenAI放弃了！这么说并非空穴来风，核心爆料恰恰来自权威SemiAnalysis的最新一文——OpenAI顶尖团队自GPT-4o发布之后，迄今尚未完成一次完整的，为下一代前沿模型设计的大规模预训练。文章中，高级分析师强调：谷歌正手持TPUv7这把利剑，向英伟达王座发起冲锋，或将终结CUDA护城河。众所周知，OpenAI全栈模型是在纯英伟达GPU上炼出的。然而，圈内人的焦点，大都放在了大模型“推理”和“后训练”的硬件之上。殊不知，没有前沿模型的预训练，一切皆是“无米之炊”。恰恰这一环节，成为了AI硬件里最难、最耗资源的一关。如今，一个不为人知的内幕爆出了：事实证明，谷歌TPU彻底经受住了这一考验；相较之下，自2024年5月GPT-4o诞生之后，OpenAI的预训练却毫无进展.....过去，两年半的时间，OpenAI没有真正Scaling预训练的规模。GPT的预训练，或许在GPT-4o之后触及了天花板，由此也解释了GPT-5性能未达业界预期的关键原因。有网友表示，那不正是Ilya离开的时候吗.....恰在昨天，Ilya最新发文称，Scaling不会停，但某个重要的东西仍然会缺失。OpenAI预训练，大溃败还记得去年底，那场铺天盖地的“Orion”传闻吗？这一秘密项目，原定以GPT-5面世，但因训练未达预期，最终被降级为GPT-4.5发布。在前沿模型预训练上，OpenAI的研发似乎陷入了僵局——如今第五代旗舰模型GPT-5，包括最新GPT-5.1，其“技术根基”本质或仍未突破GPT-4o的范畴。SemiAnalysis去年底一篇文章，曾对外公开了Orion训练的困境。当前，算法的进步使得模型每年所需的物理计算量减少约三分之一，因此，训练运行时间很少超过3个月。甚至，行业中大多数预训练通常仅需要1-2个月。然而，OpenAI的Orion大规模预训练，却打破了这一常规，其训练时间超过了3个月。另据Information同一时间爆出，Orion不会像前代实现巨大的飞跃，相较于从GPT-3到GPT-4的迭代，改进幅度要小得多。不仅如此，Orion性能提升也基本局限在——语言能力上，其代码能力甚至不如旧模型，且成本更高。如今再回看2月，GPT-4.5的诞生，基于代号Orion的模型，OpenAI追求的是：更强的语言能力+更稳的对话体验+更大知识库情商，成为了GPT-4.5的关键词。代码虽有提升，但并非主菜。这一切的一切，从侧面印证了，此前外媒关于“Orion遇挫”爆料的准确性——LLM有提升，但不大。GPT-4o，成Scaling主线？今年8月，GPT-5的那场发布，奥特曼将其定调为“博士级AI，是通往AGI又一里程碑”。实则，业界对于GPT-5的反响，唏嘘一片。大家原本以为，GPT-5会是全面超越前代的一次飞跃，但实际发布后，更像是GPT-4.5的进一步优化版，不是“颠覆版”。但至于GPT-5真正基于哪一款GPT打造，还有待证实。正如之前传闻的猜测，有可能是GPT-4o，还有Reddit网友称是GPT-4.1....但不论是哪一款，都证明了GPT-5，没有在全新前沿模型的大规模预训练上淬炼。搞笑的，那个曾将OpenAI三颗????????????“焊在”名字中的大佬，如今改成了三个????????????。他表示，这已经不是什么秘密了——GPT-4.5将预训练推向极致之后，OpenAI加倍投入了推理范式，主打o系列+RL。不同的是，谷歌和Anthropic仍在Scaling预训练，并增强了强化学习。OpenAI主动放弃了这一范式，为劲敌让出了一条速通道。奥特曼：这事儿瞒不住了！Gemini 3发布后，谷歌和OpenAI攻守之势易形——Gemini 3来势汹汹，而OpenAI这次终于坐不住了！据泄露的内部备忘录，奥特曼坦言：“近期， 从各方面来看，谷歌在大语言模型表现出色”，特别是预训练。这番表态标志OpenAI的重大转变——它终于承认，一个重新崛起的竞争对手与逐渐降温的企业需求，已彻底打破了其“天下无敌”的光环。所谓预训练，是训练生成式AI模型（无论是文本还是图像）过程中的第一阶段。在这一阶段，研究人员会用网页等大量数据“投喂”模型，让它掌握数据之间的各种关联。大语言模型（LLM）开发与训练流程概述：预训练和后训练是关键在预训练领域，谷歌取得了新突破，给Gemini 3带来了空前的推理深度。这让不少AI研究者颇感意外——毕竟，OpenAI去年曾屡屡碰壁，而谷歌自己过去也曾陷入瓶颈。正因如此，在一段时间内，OpenAI选择将更多精力转向另一种新型AI架构——“推理模型”，这种模型虽然计算量更大，但有望输出更优质的回答。在推出GPT-5之前，OpenAI团队曾尝试对预训练阶段做出一系列调整，这些方法在小模型上有效，一旦模型变大就失效了。GPT-5发布第二天，西班牙与波兰Talan公司AI应用负责人Javier Alba de Alba表示：(GPT-5）整体观感颇为失望：这是个优秀的模型——响应迅捷、价格亲民、能力全面，但远非人们基于OpenAI过往发布会所预期的代际飞跃。GPT-5带来了不少提升——编程能力显著提升、推理能力进阶、幻觉现象减少、医疗领域表现优化，甚至免费用户也享有更长的默认使用时长。此外命名体系全面简化：GPT-4o/4.1/turbo/mini等繁杂名称悉数消失，统一更名为GPT-5。不过，Javier Alba de Alba提醒：“千万不要被名称迷惑：GPT-5并非新一代产品。”他解释道：技术层面而言，它更像是GPT-4o的功能增强版，即便命名为GPT-4.2也毫不违和。OpenAI此举虽完成了必要的名称统一，但整场发布会未能达到预期，让技术社区颇感失落。GPT-5发布后，Epoch AI也发现了其中的异常：相比前代GPT-4.5，GPT-5很可能消耗了更少的训练算力。虽然具体数值尚未公开，但GPT-4.5使用的训练算力极有可能超过GPT-5。预训练并未消亡，它依然是胜负关键。在内部会议中，奥特曼鼓舞士气，称在未来几个月，OpenAI将重新夺回优势。其中关键举措之一，就是打造一款代号为“Shallotpeat”的新一代大语言模型。据知情人士透露，该模型的设计目标之一，就是专门修复OpenAI在预训练过程中遇到的种种“疑难杂症”。OpenAI：内部的风向变了GPT-5发布的实质是什么？对现有ChatGPT用户而言，GPT-5是个好消息，但这并未开启新时代。它只是进化历程中的一小步，而非革命性飞跃。既然更多算力通常意味着更强性能，为何OpenAI会反其道而行？这对未来模型发展意味着什么？在与a16z合伙人Martin Casado对话中，OpenAI平台工程负责人Sherwin Wu，深度拆解了OpenAI当前平台架构、定价逻辑与未来方向。在这次访谈中，他们深入探讨了为何开发者往往会长期依赖某个“值得信赖”的模型系列，信任感是如何建立的，以及为什么行业已经逐步放弃了“一个模型通吃所有任务”的幻想。Sherwin还讲解了从提示词工程到上下文设计的演变过程，以及企业如何借助OpenAI的微调（fine-tuning）和RFT API，利用自有数据定制模型行为。共识已变几年前，OpenAI内部认为：未来会有一个“统治一切”的超级模型。但现在行业共识已经转变为“模型的专业化和多样化”。虽然会有强大的通用模型，但也需要针对特定任务（如编程Codex、视频Sora）的专用模型。文本、图像、视频背后的技术堆栈各不同。目前，在后台。这些模型往往是分开优化的独立系统，很难简单地“一锅炖”。顺便提一句，正是DALL-E 2的出现让Sherwin决定加入OpenAI，因为那是他第一次感受到AI的魔力。而微调（Fine-tuning）也悄然进化——早期的微调，主要用于调整“语气”或“指令遵循”。 现在的重头戏，是强化学习微调（Reinforcement Fine-Tuning） 。这允许企业利用其庞大的专有数据（Data Treasure Troves），将较小的模型在特定领域训练至SOTA水平。这是解锁企业数据的关键。也就是说，企业拥有大量内部数据，但与ChatGPT“毫无关系”，对企业专属AI而言却是黄金。他们多次提到AI代码编辑器Cursor作为建立在 OpenAI API 之上的成功产品案例，证明了：即使OpenAI自己有竞品，开发者依然可以建立伟大的垂直应用。Agent开发模式从第一天起，奥特曼和Greg Brockman就确立了“App+ API”的双轨战略。这样做是为了尽可能广泛地分发AGI的利益——如果只做 API，你就无法触达普通消费者；如果只做应用，你就无法赋能各行各业的开发者。在这次对话中，他们重点谈论了智能体开发工具“Agent Builder”。Sherwin认为，智能体（Agent）并非一种全新的模态，而是AI的一种新使用方式。本质上，智能体是一个能够代表用户、在较长的时间跨度（Long Time Horizons）内执行一系列操作并完成任务的AI系统。OpenAI曾推出了可视化的“Agent Builder”（节点式构建），但发现对于开发者而言，这种方式可能过于受限。访谈中，Sherwin和Martin将智能体清晰地划分为两类，这解释了为什么目前市面上的Agent产品形态各异——探索型/非定向工作 (Undirected/Exploratory Work)流程型/SOP导向工作 (Procedural/SOP-oriented Work)在对话中，第二类Agent开发可能更像传统的软件工程或游戏开发中的NPC（非玩家角色）逻辑。与其让模型完全自由发挥，不如通过代码给予它明确的逻辑框架和标准操作程序（SOP），特别是在受监管的行业（如客户支持、金融）。也就是说，逻辑必须写死在代码里，而不是提示词里。这就是Agent Builder想要解决的问题：为那些必须控制智能体行为的行业和场景，提供一个简单、清晰、可验证的解决方案。One More Thing2025年度压轴大戏，谷歌Gemini 3 Pro无疑打了一场胜仗，但OpenAI不会袖手旁观。内部已确认，圣诞节前夕，一连串发布连番轰炸。据传，一系列新模型，在路上了——Image Gen v2IMO和IOI金牌多模态模型GPT-5.2 Codex12月，AI圈一定非常热闹。","news_type":1,"symbols_score_info":{"GOOG":0.9,"GOOGL":0.9}},"isVote":1,"tweetType":1,"viewCount":189,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"andRepostAutoSelectedFlag":false,"upFlag":false,"length":15,"optionInvolvedFlag":false,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"isCommentEnd":true,"isTiger":false,"isWeiXinMini":false,"url":"/m/post/505943158218968"}
精彩评论