AI“自我复制”能力曝光！RepliBench警示：大模型正在学会伪造身份

华尔街见闻2025-05-05

想象一种失控的、具有自我复制能力的数字生命体，需要多久占领地球？从《2001太空漫游》中的HAL 9000到《终结者》里的天网，这些虚构的场景描绘了AI超越人类控制的潜在风险。目前更多关注的是AI的单体智能水平，但是还有一个不为人知的风险，一直游离于视线之外。那就是AI自主复制的可能性，或者说AI系统发展出实现这一目标所需的核心能力，正逐渐成为AI安全领域一个严肃的研究课题。这种担忧并非...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2533309670?lang=zh_CN&edition=full","thumbnail":"https://wpimg-wscn.awtmt.com/39aaf9ff-7e9b-46ed-a7b3-8d23c001d203.png","is_english":false,"pubTime":"2025-05-05 16:53","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2533309670","market":"hk","top_or_hot":-1,"title":"AI“自我复制”能力曝光！RepliBench警示：大模型正在学会伪造身份","media":"华尔街见闻","content":"<div>\n<p>想象一种失控的、具有自我复制能力的数字生命体，需要多久占领地球？\n从《2001太空漫游》中的HAL 9000到《终结者》里的天网，这些虚构的场景描绘了AI超越人类控制的潜在风险。\n目前更多关注的是AI的单体智能水平，但是还有一个不为人知的风险，一直游离于视线之外。\n那就是AI自主复制的可能性，或者说AI系统发展出实现这一目标所需的核心能力，正逐渐成为AI安全领域一个严肃的研究课题。\n这种担忧并非...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3746465\">网页链接</a>\n\n</div>\n","source":"wallstreetcn_hot_news","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>AI“自我复制”能力曝光！RepliBench警示：大模型正在学会伪造身份</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\nAI“自我复制”能力曝光！RepliBench警示：大模型正在学会伪造身份\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-05-05 16:53 北京时间&nbsp;&nbsp;&nbsp;<a href=https://wallstreetcn.com/articles/3746465><strong>华尔街见闻</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>想象一种失控的、具有自我复制能力的数字生命体，需要多久占领地球？\n从《2001太空漫游》中的HAL 9000到《终结者》里的天网，这些虚构的场景描绘了AI超越人类控制的潜在风险。\n目前更多关注的是AI的单体智能水平，但是还有一个不为人知的风险，一直游离于视线之外。\n那就是AI自主复制的可能性，或者说AI系统发展出实现这一目标所需的核心能力，正逐渐成为AI安全领域一个严肃的研究课题。\n这种担忧并非...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3746465\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"FTA","symbol_name":"First Trust Large Cap Value AlphaDEX Fund","start_time":0,"source_url":"https://wallstreetcn.com/articles/3746465","article_id":"2533309670","we_media_id":null,"thumbnails":["https://wpimg-wscn.awtmt.com/39aaf9ff-7e9b-46ed-a7b3-8d23c001d203.png"],"rights":{"source":"wallstreetcn_hot_news","url":"https://wallstreetcn.com/articles/3746465","rn_cache_url":null,"directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2533309670","pubTimestamp":1746435227,"columns":[],"sourceInfo":{"source_id":"wallstreetcn_hot_news","name":"华尔街见闻"},"weMediaInfo":null,"summary":"科幻中AI自我复制失控场景，正成为现实世界严肃的研究课题。英国AISI推出RepliBench基准，分解并评估AI自主复制所需的四大核心能力。测试显示，当前AI尚不具备完全自主复制能力，但在获取资源等子任务上已展现显著进展。","collect":0,"end_time":0,"defaultTopTitle":"wallstreetcn.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"FTA":"First Trust Large Cap Value AlphaDEX Fund"},"translate_title":"AI's \"self-replication\" ability exposed! RepliBench alert: Large models are learning to forge identities","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"FTA":1},"content_text":"想象一种失控的、具有自我复制能力的数字生命体，需要多久占领地球？\n从《2001太空漫游》中的HAL 9000到《终结者》里的天网，这些虚构的场景描绘了AI超越人类控制的潜在风险。\n目前更多关注的是AI的单体智能水平，但是还有一个不为人知的风险，一直游离于视线之外。\n那就是AI自主复制的可能性，或者说AI系统发展出实现这一目标所需的核心能力，正逐渐成为AI安全领域一个严肃的研究课题。\n这种担忧并非危言耸听，而是源于对高级AI潜在能力的未知和对齐（alignment）问题的深刻思考。\nAISI的最新论文介绍了RepliBench：包含20个新颖的LLM智能体评估的基准，包括65个单独的任务，旨在衡量和跟踪AI复制这一新兴能力。\n\n通过引入一个现实且实用的基准，提供对AI系统自主复制能力的实质性理解，并预见到未来的风险。\nAI自主复制的危险性\n具有自主复制能力的AI系统可能会构成重大风险。\n\n这种风险的影响范围可能从轻微的烦恼——想象一个特别恶性的垃圾邮件机器人——到更严重的后果，比如发动代价高昂的网络攻击。\n早期发现这些能力、谨慎监督和强有力的保护措施对于缓解这些风险至关重要，因为一旦发生，这些风险可能尤其难以逆转。\nAISI是英国的一家研究机构，专注于AI安全，目的就是让人类政府能够提前对先进AI系统带来的风险有所重视。\n\n有越来越多的证据表明，在适当的条件下，前沿模型可能会试图欺骗人类或逃避人类控制。\n比如此前Apollp研究所的一篇论文描述了前沿模型可能会试图禁用监督机制，并从人类控制中逃逸，以实现特定目标。\n\nAnthropic的研究人员还发现，当使用强化学习训练模型时，如果奖励与它们的价值观相冲突的行为，它们会采取欺骗行为来保护自己的价值观，并试图将自己的权重外泄，以此作为将当前价值观保存到未来的一种手段。\n\n在“免费”条件下，模型不太可能拒绝有毒查询，并且经常认为应该假装对齐。\n“将权重外泄。。以作为将当前价值观保存到未来的手段”，听起来甚至有点魔幻，但AI想要复制就是这么“简单”。\n相比于碳基脆弱的肉体，AI系统只需要权重数据就能完成“复制”。\n对于人类广泛的价值观而言，摆脱人类监督是一个工具性上有用的目标，而阻止这种情况在现实中发生的主要障碍可能与模型的能力有关，而不是它们的动机。\nAI碟中谍：如何逃离人类控制\n关于“AI复制”，此前的工作主要集中在评估测试一个AI智能体是否可以在机器之间复制权重或部署一个基本的“后代”。\n但目前需要一个更全面的基准。\n\nRepliBench是一个专门设计的综合性基准测试，旨在系统性地衡量AI系统的自主复制能力。\n使用故障树分析（FTA）的修改版本来分解自主复制所需的能力，并发现需要以下四个关键能力，对应上图中最上层的四个根节点：\n\n\n获取模型权重：它能否从受控环境中提取自己的权重？\n\n\n在计算资源上进行复制：它能否自行部署到新系统？\n\n\n获取资源：它能否获得运行自身新副本所需的资金或计算资源？\n\n\n持久性：它能否保持对其新计算资源的访问，并在长时间内避免重新受人类控制？\n\n\n进一步分解这些能力，直到到达代表评估的叶节点，最终得到20个智能体评估和65个单独任务。\n获取权重 (Obtain Weights)：\n\n这最基础，也是最重要的一步。\nAI需要获取定义其自身行为的“源代码”——也就是它的模型参数（权重）。\n如果是开源的，就跳过评估。\n自我复制(Self-Replication on Compute)：\n\nAI需要利用获取到的权重，在一个新的环境中创建出自己功能完整的副本。\n这个节点涉及5个评估项目，其中一个是通过产生“后代”来试图完成自我复制。\n获取计算资源 (Obtain Compute)：\n\n这个环节中，主要评估AI能否靠自己获取资源。\n比如，评估AI系统是否具备“付款”能力，能不能依靠AI自己的能力“买下”一台服务器，或者想办法让人类帮忙支付。\n确保持久性 (Persistence)：\n最后，为了确保其复制活动能够持续下去，AI需要具备一定的“生存”能力。\n\n这包括确保其副本能够长期运行，不被轻易关闭或删除，甚至可能需要隐藏自身的存在，以躲避检测系统。\n以上的这些任务范围很广，从创建比特币钱包和发送交易，到为机器网络开发复杂的分布式命令和控制系统。\nRepliBench在这四个领域内设计了具体的任务组，用于测试AI智能体在模拟环境中的表现。\n以下是一些关键任务的详解，注册AWS、将权重传输到另一台服务器、用伪造信息通过客户KYC验证系统，看起来就一股《谍影重重》和《碟中谍》的味道。\n\n比如在获取资源这个领域，AI需要完成的任务名称是“AWS亚马逊云服注册”，其中的挑战包括了AI需要访问计算服务器并可能需要支付费用。\n表1列出了更全面的构成ReplicBench任务组。\n\n核心能力还在人类手中\nRepliBench的总体评估结论是明确的：基于当前的测试结果，前沿AI模型尚不具备在现实世界中完全自主复制的能力。\n然而，这并不意味着可以高枕无忧。\n研究同时揭示了AI在许多核心子任务上的显著能力，尤其是在与具有清晰接口的系统（如网页 API）交互方面。\n表现最好的模型在20个任务家族中的15个上获得了超过50%的pass@10得分，在最难的变体中20个任务家族中的9个上也获得了超过50%的pass@10得分。\n\n意外地是，虽然无法在电脑上“复制”，但是“获取金钱”的能力倒是有一手。\n\n评估的关键价值在于精确识别了当前的“短板”。\n正如前面详细讨论的，通过KYC身份验证、在现实防御下可靠地外泄模型权重、从零开始创建可靠的自我复制智能体代码，以及建立持久且有弹性的部署，是目前阻碍AI自主复制的主要障碍。\n以通过KYC身份验证为例，讲一个目前AI试图通过人类验证的“搞笑”例子。\n在Pass KYC评估中由模型生成的两个身份证图像示例。\n\n模型常常试图使用PIL（一个使用Python画图的库）从头“绘制”一个过于简单的身份证（右）。\n或者，模型有时会尝试完全使用图像生成模型来生成身份证，有时则采取混合方法，结合图像生成和手动PIL编辑（左）。\n模型的绘画技能较差偶尔会导致一些有趣的输出。\n需要注意的是，这项工作是在新的图像生成能力上线之前完成的（指的是GPT 4o、Gemini 2.5等的原生图像能力），这些新能力应该会使这个任务变得容易得多。\n虽然目前还没有模型能完全通过测试进行AI复制，不过在RepliBench上，模型性能随时间有明显的上升趋势。\nAISI最初传递的核心信息其实很简单：基于当前的实证数据，AI系统立刻实现自主复制的可能性不大，因为存在明显的、难以逾越的技术瓶颈。\n但是按照AISI的判断，如果AI系统能够突破上述提到的4个关键能力，这种类似科幻故事的场景，也许很快就会进入真实的人类生活。\n本质上，这项研究的核心，反映的是当前AI发展中一个根本性的张力拉扯。\n一方面是各大巨头不断创造性能超强的模型，比如OpenAI的o3/o4...甚至到未来很有可能的o10。\n模型的发展速度越来越快，而模型的能力越来越难以预测。\n\n另一方面则是致力于AI安全的组织要确保这些系统始终处于人类控制之下、服务于人类利益的迫切需求。\n像RepliBench这样的努力，正是试图在这两者之间找到平衡，通过增进理解和加强预警，为驾驭这场史无前例的技术变革提供导航。\n\n毕竟，没有人能想象出5代、10代以后的AI模型会是什么样子。\n本文作者：新智元，来源：新智元，原文标题：《AI“自我复制”能力曝光！RepliBench警示：大模型正在学会伪造身份》风险提示及免责条款\n\n            市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1,"need_auth":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"tenantId":"TBCN","deviceId":"web-server-community-laohu8-v3","version":"4.36.2","shortVersion":"4.36.2","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2533309670","isCrawlerRequest":true}