52页PPT，谷歌Gemini预训练负责人首次揭秘！扩展定律最优解

新智元2025-04-28

新智元报道编辑：英智【新智元导读】大模型之战烽火正酣，谷歌Gemini 2.5 Pro却强势逆袭！Gemini Flash预训练负责人亲自揭秘，深挖Gemini预训练的关键技术，看谷歌如何在模型大小、算力、数据和推理成本间找到最优解。谷歌凭借Gemini 2.5 Pro在激烈的大模型竞争中一举翻盘。近日，Geimini Flash预训练负责人Vlad Feinberg在普林斯顿大学分享了相关内容。...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2530287443?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2025-04-28 18:55","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2530287443","market":"us","top_or_hot":-1,"title":"52页PPT，谷歌Gemini预训练负责人首次揭秘！扩展定律最优解","media":"新智元","content":"<div>\n<p>新智元报道编辑：英智【新智元导读】大模型之战烽火正酣，谷歌Gemini 2.5 Pro却强势逆袭！Gemini Flash预训练负责人亲自揭秘，深挖Gemini预训练的关键技术，看谷歌如何在模型大小、算力、数据和推理成本间找到最优解。谷歌凭借Gemini 2.5 Pro在激烈的大模型竞争中一举翻盘。近日，Geimini Flash预训练负责人Vlad Feinberg在普林斯顿大学分享了相关内容。...</p>\n\n<a href=\"https://tech.ifeng.com/c/8ivTp0Ldtgi\">网页链接</a>\n\n</div>\n","source":"fenghuang_stock","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>52页PPT，谷歌Gemini预训练负责人首次揭秘！扩展定律最优解</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n52页PPT，谷歌Gemini预训练负责人首次揭秘！扩展定律最优解\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-04-28 18:55 北京时间&nbsp;&nbsp;&nbsp;<a href=https://tech.ifeng.com/c/8ivTp0Ldtgi><strong>新智元</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>新智元报道编辑：英智【新智元导读】大模型之战烽火正酣，谷歌Gemini 2.5 Pro却强势逆袭！Gemini Flash预训练负责人亲自揭秘，深挖Gemini预训练的关键技术，看谷歌如何在模型大小、算力、数据和推理成本间找到最优解。谷歌凭借Gemini 2.5 Pro在激烈的大模型竞争中一举翻盘。近日，Geimini Flash预训练负责人Vlad Feinberg在普林斯顿大学分享了相关内容。...</p>\n\n<a href=\"https://tech.ifeng.com/c/8ivTp0Ldtgi\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4527","symbol_name":"明星科技股","start_time":0,"source_url":"https://tech.ifeng.com/c/8ivTp0Ldtgi","article_id":"2530287443","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2530287443","pubTimestamp":1745837741,"columns":[],"sourceInfo":{"source_id":"fenghuang_stock","name":"凤凰网"},"weMediaInfo":null,"summary":"新智元报道编辑：英智大模型之战烽火正酣，谷歌Gemini 2.5 Pro却强势逆袭！Gemini Flash预训练负责人亲自揭秘，深挖Gemini预训练的关键技术，看谷歌如何在模型大小、算力、数据和推理成本间找到最优解。谷歌凭借Gemini 2.5 Pro在激烈的大模型竞争中一举翻盘。近日，Geimini Flash预训练负责人Vlad Feinberg在普林斯顿大学分享了相关内容。谷歌Gemini预训练技术对经典扩展定律和推理优化扩展定律都进行了深入研究。","collect":0,"end_time":0,"defaultTopTitle":"ifeng.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4527":"明星科技股","LU1633808545.USD":"ALLIANZ GLOBAL EQUITY GROWTH \"AT\" (USD) ACC","GOOGL":"谷歌A","IE00BKVL7J92.USD":"Legg Mason ClearBridge - US Equity Sustainability Leaders A Acc USD","BK4532":"文艺复兴科技持仓","LU1145028129.USD":"ALLIANZ INCOME AND GROWTH \"AQ\" (USD) INC","LU2023250843.SGD":"Allianz Thematica Cl AT Acc H2-SGD","LU0077335932.USD":"FIDELITY AMERICAN GROWTH \"A\" INC","IE00BWXC8680.SGD":"PINEBRIDGE US LARGE CAP RESEARCH ENHANCED \"A5\" (SGD) ACC","LU2023250330.USD":"ALLIANZ INCOME AND GROWTH \"AMG\" (USD) INC","LU1923623000.USD":"Natixis Thematics AI & Robotics Fund R/A USD","LU0557290698.USD":"施罗德环球可持续增长基金","IE00BKPKM429.USD":"NEUBERGER BERMAN GLOBAL SUSTAINABLE EQUITY \"A\" (USD) ACC","LU0158827781.USD":" ALLIANZ GLOBAL SUSTAINABILITY \"AT\" (USD) ACC","LU1720051017.SGD":"Allianz Global Artificial Intelligence AT Acc H2-SGD","IE00B3S45H60.SGD":"Neuberger Berman US Multicap Opportunities A Acc SGD-H","LU2491050071.SGD":"WELLINGTON SUSTAINABLE OUTCOMES \"A\" (SGDHDG) ACC","LU0109391861.USD":"富兰克林美国机遇基金A Acc","LU0061475181.USD":"THREADNEEDLE (LUX) AMERICAN \"AU\" (USD) ACC","LU1868837136.USD":"CT (LUX) I AMERICAN \"8\" (USD) ACC","LU1934455194.USD":"AB SICAV I LOW VOLATILITY TOTAL RETURN EQUITY PORT \"A\" (USD) ACC","LU0708994859.HKD":"TEMPLETON GLOBAL \"A\" (HKD) ACC","PPT":"普特南优先收入信托","LU2360032135.SGD":"ALLSPRING GLOBAL EQUITY ENHANCED INCOME \"A\" (SGDHDG) INC","USJW.SI":"ALPHAB 3xLongSG261006","LU0456855351.SGD":"JPMorgan Funds - Global Equity A (acc) SGD","LU0154236417.USD":"BGF US FLEXIBLE EQUITY \"A2\" ACC","IE00BK4W5M84.HKD":"HSBC GLOBAL FUNDS ICAV US EQUITY INDEX \"HC\" (HKD) ACC","LU0061474705.USD":"THREADNEEDLE (LUX) GLOBAL DYNAMIC REAL RETURN \"AU\" (USD) ACC","LU1201861249.SGD":"Natixis Harris Associates US Equity PA SGD-H","LU0048573561.USD":"FIDELITY AMERICA \"A\" (USD) INC","IE00B1XK9C88.USD":"PINEBRIDGE US LARGE CAP RESEARCH ENHANCED \"A\" (USD) ACC","IE00B7KXQ091.USD":"Janus Henderson Balanced A Inc USD","LU2471134523.USD":"INVESCO GLOBAL EQUITY INCOME ADVANTAGE \"A\" (USD) ACC","LU0215105999.USD":"SCHRODER ISF GLOBAL EQUITY \"A\" ACC","BK4587":"ChatGPT概念","LU1043141396.HKD":"NINETY ONE GSF GLOBAL FRANCHISE \"A\" (HKD) ACC","LU0689472784.USD":"安联收益及增长基金Cl AM AT Acc","LU1280957306.USD":"THREADNEEDLE (LUX) US CONTRARIAN CORE EQUITIES \"AUP\" (USD) INC","LU1852331112.SGD":"Blackrock World Technology Fund A2 SGD-H","LU2361045086.USD":"WELLINGTON US QUALITY GROWTH \"A\" (USD) ACC","LU1935042488.USD":"MANULIFE GF GLOBAL MULTI-ASSET DIVERSIFIED INCOME  \"AA\" (USD) INC","LU0203347892.USD":"SCHRODER ISF QEP GLOBAL ACTIVE VALLUE \"A\" (USD)  INC AV","LU0477156797.USD":"HARRIS ASSOCIATES GLOBAL EQUITY \"RE\" (USD) ACC","IE00BYQQ9H92.USD":"BNY MELLON GLOBAL LEADERS \"A\" (USD) ACC","IE0004445239.USD":"JANUS HENDERSON US FORTY \"A2\" (USD) ACC","SGXZ31699556.SGD":"UGDP UNITED GLOBAL QUALITY GROWTH \"C\" (SGDHDG) ACC","GOOG":"谷歌","BK4543":"AI"},"translate_title":"52-page PPT, the head of Google Gemini pre-training revealed the secret for the first time! Extended law optimal solution","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"GOOG":1,"PPT":1,"GOOGL":1,"USJW.SI":0.6},"content_text":"新智元报道编辑：英智【新智元导读】大模型之战烽火正酣，谷歌Gemini 2.5 Pro却强势逆袭！Gemini Flash预训练负责人亲自揭秘，深挖Gemini预训练的关键技术，看谷歌如何在模型大小、算力、数据和推理成本间找到最优解。谷歌凭借Gemini 2.5 Pro在激烈的大模型竞争中一举翻盘。近日，Geimini Flash预训练负责人Vlad Feinberg在普林斯顿大学分享了相关内容。他深入分析了Gemini预训练的方法、挑战以及方向，如何在模型大小、算力、数据和推理成本间取得平衡。PPT链接：https://vladfeinberg.com/assets/2025-04-24-princeton-talk.pdf经典扩展定律模型训练中，计算资源的合理利用至关重要。假设有计算资源（C）1000块H100芯片，运行30天，如何训练出最佳的LLM呢？这就涉及到模型参数量（N）和训练token数量（D）。对于Transformer，计算量C和N、D之间存在一个近似公式：C≈6×N×D。MLP是模型的重要组成部分，不同操作的浮点运算量和参数量有所不同。比如这个操作，训练时的浮点运算量是6BTDF，参数量为DF。把MLP的多个操作加起来，总训练浮点运算量约为18BTDF，参数数量达到3DF。注意力机制的计算更为复杂。将注意力机制相关操作的计算量相加，约为12BTSNH=12BT²NH，参数量为4DNH。将MLP和注意力机制的计算量合并，就能了解整个模型训练时的计算量情况。Kaplan定律2020年，Kaplan等人的研究揭示了模型性能与数据量、模型规模和计算量之间的关系。自回归Transformer模型中，小模型可以用来预测大模型的性能。模型性能与算力、参数量、数据量之间存在幂律关系。当计算预算增加10倍时，模型参数量应增加5.37倍，数据量增加1.86倍。这一结论在当时引起了广泛关注，点燃了企业的“军备竞赛”。Chinchilla（龙猫）然而，2022年，DeepMind对Kaplan的观点提出了质疑。Kaplan的研究在每个模型规模下仅运行一次训练，并用中间损失来估计不同token训练步数下的损失。Chinchilla论文指出，基于单次训练的中间loss点来推断存在缺陷，通过适当的学习率衰减可以获得更好的损失值，只有最终的损失值才是最优的。论文采用IsoFlops方法，固定浮点运算量预算，同时改变模型规模和训练token数量。固定总算力C训练多个不同参数N的模型，对应不同数据量D（C≈6×N×D）找到loss最低的模型N_opt（C）和D_opt（C）重复以上步骤，得到不同算力下的最优（N,D）点，并拟合研究发现，模型参数N和数据量D应以大致相同的速率（幂律指数约为0.5）随算力C增长，这与Kaplan等的结论大相径庭。这意味着，按Kaplan定律训练的模型，可能存在训练不足的情况，数据太少，会增加模型后续部署和使用的成本。为了进一步优化模型训练，研究人员尝试了多种方法。通过不同的计算场景和拟合方式，得到了更精确的系数。混合专家（MoE）模型的扩展定律展现出了独特的优势。与传统模型相比，在相同的活跃参数数量和固定100B token的情况下，MoE 64E模型的性能更优。然而，MoE模型对token数据的需求量较大，互联网上的可用数据逐渐难以满足其需求，这成为了发展瓶颈。为了解决数据不足的问题，研究人员将目光投向了更多的数据来源。多模态数据，如音频、视觉、3D 模型、视频等，为模型训练提供了丰富的信息。合成数据也受到了关注。实际应用中，需要在生成质量与筛选成本之间找到平衡。实时场景的模型选择在谷歌的许多应用场景中，如免费的Gemini聊天机器人、AIO、AIM、Vertex AI（用于模型微调、部署）以及AI Studio（提供生成式API）等，推理效率至关重要。这些应用需要快速给出准确的响应，对模型的推理速度和效率要求极高。就拿实时应用来说，Astra和Mariner都需要快速响应。以一个网络交互智能体为例，假设上下文128k，但每次增量只有8k token，解码需要128 token来生成一个动作，并且动作之间的延迟不超过1秒，其中250毫秒还得用于框架搭建、负载均衡等操作。用Llama3-70B模型和v5e芯片做实验，发现单芯片处理8k token需5.7秒。为了达到0.5秒的API延迟限制，需要搭建4×4 v5e并行。实时应用中，小模型反而更有优势，如Gemini Flash/Flash-lite。Chinchilla的扩展方法虽然在模型训练的计算优化上有效，但它忽略了推理成本。在实际应用中，需要综合考虑训练和推理的成本，找到更合适的模型和数据配置。推理优化扩展定律《超越Chinchilla最优：在语言模型扩展定律中考虑推理因素》这篇论文提出了新的推理优化Scaling Laws。核心思想是，不仅最小化训练loss，而是要综合考虑训练和推理的总计算量，为模型优化提供了新的方向。按照这些公式，在相同计算量下，与Chinchilla最优策略相比，应该训练更小的模型，并使用更多的数据，因为推理所需的计算量更少。当然，这也存在新的挑战。计算资源的非同质性：实际应用中计算资源存在差异，用于推理优化的芯片各不相同，给推理优化带来了困难。推理量D_inf难以预测：技术进步提高资源利用效率，反而会增加对该资源的需求（杰文斯悖论）。模型质量提升可能会扩大市场，进而影响推理时的token数量D_inf。拟合效果不佳：不同数据集下，相关参数的拟合效果存在差异。不同token与参数比例的数据子集，拟合得到的 α、β等参数不同，和Chinchilla的拟合结果也有较大差异。针对这些问题，研究人员采用在数据约束下建模的方法。研究引入新维度，即有意区分数据，提出新的损失函数和数据规模公式，这样训练出来的模型更小，对数据重复的鲁棒性更强。对于推理token数量的处理，像Llama3模型，有研究指出其8B和70B参数的模型，在训练到15T token后，性能仍呈对数线性提升，即D_inf可视为无穷大。蒸馏的探索与应用除了模型大小、数据量和推理成本，知识蒸馏为推理优化扩展带来了新的思路。知识蒸馏扩展定律公式：通过调整这些参数，可以优化学生模型的性能。不过，知识蒸馏在实际应用中也有一些问题，比如趋势影响不明显、部分情况考虑不周全等，但可以通过权重调整等方法进行改进。从原理上讲，知识蒸馏能降低方差，更好的教师模型能减少偏差，为模型优化提供了新途径。谷歌Gemini预训练技术对经典扩展定律和推理优化扩展定律都进行了深入研究。经典扩展定律通过探索模型规模、数据量和计算量之间的关系，不断优化模型训练的资源配置。推理优化扩展定律针对推理成本和效率问题，综合考虑训练和推理需求，提出新方法，提升模型整体性能。同时，知识蒸馏等技术的应用也为模型的优化提供了更多的途径。Vlad FeinbergVlad Feinberg毕业于普林斯顿大学计算机科学专业，于加州大学伯克利分校RISE实验室攻读博士学位。后来，Feinberg加入了一家名为Sisu的初创公司，担任机器学习主管。他曾任职于谷歌研究院的Cerebra项目，目前在谷歌DeepMind工作。参考资料：https://x.com/JeffDean/status/1916541851328544883https://x.com/FeinbergVlad/status/1915848609775685694","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"isVideo":false,"video":null,"symbols":[],"gpt_button":0,"need_auth":false,"need_login_tip":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"tenantId":"TBCN","deviceId":"web-server-community-laohu8-v3","version":"4.43.1","shortVersion":"4.43.1","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2530287443","isCrawlerRequest":true}