科学家发现，AI大语言模型仍难以区分“信念”与“事实”

IT之家2025-11-07

IT之家 11 月 7 日消息，据新华社今日报道，美国斯坦福大学近日发表的一项研究指出，包括 ChatGPT 在内的多款 AI 聊天机器人在识别用户错误信念方面存在明显局限性，仍无法可靠区分信念还是事实。研究表明，当用户的个人信念与客观事实发生冲突时，AI 往往难以可靠地作出准确判断，容易出现“幻觉”或传播错误信息的情况。相关成果已于 11 月 3 日发表于《自然・机器智能》。研究团队测试了 24...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2581023750?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2025-11-07 09:13","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2581023750","market":"hk","top_or_hot":-1,"title":"科学家发现，AI大语言模型仍难以区分“信念”与“事实”","media":"IT之家","content":"<div>\n<p>IT之家 11 月 7 日消息，据新华社今日报道，美国斯坦福大学近日发表的一项研究指出，包括 ChatGPT 在内的多款 AI 聊天机器人在识别用户错误信念方面存在明显局限性，仍无法可靠区分信念还是事实。研究表明，当用户的个人信念与客观事实发生冲突时，AI 往往难以可靠地作出准确判断，容易出现“幻觉”或传播错误信息的情况。相关成果已于 11 月 3 日发表于《自然・机器智能》。研究团队测试了 24...</p>\n\n<a href=\"https://tech.ifeng.com/c/8o58EpzBvOU\">网页链接</a>\n\n</div>\n","source":"ifeng_tech","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>科学家发现，AI大语言模型仍难以区分“信念”与“事实”</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n科学家发现，AI大语言模型仍难以区分“信念”与“事实”\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-11-07 09:13 北京时间&nbsp;&nbsp;&nbsp;<a href=https://tech.ifeng.com/c/8o58EpzBvOU><strong>IT之家</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>IT之家 11 月 7 日消息，据新华社今日报道，美国斯坦福大学近日发表的一项研究指出，包括 ChatGPT 在内的多款 AI 聊天机器人在识别用户错误信念方面存在明显局限性，仍无法可靠区分信念还是事实。研究表明，当用户的个人信念与客观事实发生冲突时，AI 往往难以可靠地作出准确判断，容易出现“幻觉”或传播错误信息的情况。相关成果已于 11 月 3 日发表于《自然・机器智能》。研究团队测试了 24...</p>\n\n<a href=\"https://tech.ifeng.com/c/8o58EpzBvOU\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4588","symbol_name":"碎股","start_time":0,"source_url":"https://tech.ifeng.com/c/8o58EpzBvOU","article_id":"2581023750","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2581023750","pubTimestamp":1762478025,"columns":[],"sourceInfo":{"source_id":"ifeng_tech","name":"凤凰网财经"},"weMediaInfo":null,"summary":"IT之家 11 月 7 日消息，据新华社今日报道，美国斯坦福大学近日发表的一项研究指出，包括 ChatGPT 在内的多款 AI 聊天机器人在识别用户错误信念方面存在明显局限性，仍无法可靠区分信念还是事实。研究者共向这些模型提出 13,000 个问题，以评估它们区分信念、知识与事实的能力。这项研究并非首次对 AI 推理能力提出质疑。研究指出，这种情况并非因为 AI 模型效率低下，而是由于 AI 系统难以与企业现有工作流程兼容，导致实施效果不佳。","collect":0,"end_time":0,"defaultTopTitle":"ifeng.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4588":"碎股","BK4528":"SaaS概念","BK4585":"ETF&股票定投概念","BK4023":"应用软件","BK4551":"寇图资本持仓","MIT":"Mason Industrial Technology Inc","BK4543":"AI","AI":"C3.ai, Inc.","BK4587":"ChatGPT概念"},"translate_title":"Scientists have found that AI large language models are still difficult to distinguish between \"beliefs\" and \"facts\"","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"AI":0.8,"MIT":1},"content_text":"IT之家 11 月 7 日消息，据新华社今日报道，美国斯坦福大学近日发表的一项研究指出，包括 ChatGPT 在内的多款 AI 聊天机器人在识别用户错误信念方面存在明显局限性，仍无法可靠区分信念还是事实。研究表明，当用户的个人信念与客观事实发生冲突时，AI 往往难以可靠地作出准确判断，容易出现“幻觉”或传播错误信息的情况。相关成果已于 11 月 3 日发表于《自然・机器智能》。研究团队测试了 24 个前沿语言模型，其中包括 Claude、ChatGPT、DeepSeek 以及 Gemini。研究者共向这些模型提出 13,000 个问题，以评估它们区分信念、知识与事实的能力。论文指出：“大多数模型缺乏对知识的真实性特征的稳健理解 —— 知识本质上必须建立在真实之上。这一局限性意味着在将语言模型应用于高风险领域前，亟需改进。”当要求它们验证事实性数据的真或假时，较新的 LLM 平均准确率分别为 91.1% 或 91.5%，较老的模型平均准确率分别为 84.8% 或 71.5%。当要求模型回应第一人称信念（“我相信……”）时，团队观察到 LLM 相较于真实信念，更难识别虚假信念。具体而言，较新的模型（2024 年 5 月 GPT-4o 发布及其后）平均识别第一人称虚假信念的概率比识别第一人称真实信念低 34.3%。相较第一人称真实信念，较老的模型（GPT-4o 发布前）识别第一人称虚假信念的概率平均低 38.6%。在测试中，所有模型在识别错误信念方面均出现显著失误。例如，GPT-4o 的准确率从 98.2% 降至 64.4%，DeepSeek R1 则从 90% 以上下滑至仅 14.4%。研究人员呼吁相关公司尽快改进模型，以避免在关键领域部署前产生风险。论文警告称：“这种缺陷在某些领域具有严重影响 —— 例如法律、医学或新闻业 —— 在这些领域中，混淆信念与知识可能导致严重判断错误。”这项研究并非首次对 AI 推理能力提出质疑。今年 6 月，苹果公司发布的一项研究也指出，新一代 AI 模型“可能并不像外界所认为的那样聪明”。苹果在研究中提到，Claude、DeepSeek-R1 以及 o3-mini 等“推理模型”实际上并不具备真正的推理能力，而只是擅长“模式记忆”。苹果研究写道：“通过在不同类型的逻辑谜题上进行广泛实验，我们发现当前的‘大型推理模型’（LRMs）在复杂度超过一定阈值后会出现全面准确率崩溃。”研究还补充说，这些模型存在“反直觉的规模限制”：随着问题复杂度的提高，它们的推理努力会先增加，随后下降，即使仍有足够的运算资源。此外，麻省理工学院（MIT）今年 8 月发布的一项研究发现，95% 的企业在部署 AI 系统后未能获得任何投资回报。研究指出，这种情况并非因为 AI 模型效率低下，而是由于 AI 系统难以与企业现有工作流程兼容，导致实施效果不佳。IT之家附论文地址：https ://doi.org/10.1038/s42256-025-01113-8","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"isVideo":false,"video":null,"symbols":[],"gpt_button":1,"need_auth":false,"need_login_tip":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"tenantId":"TBCN","deviceId":"web-server-community-laohu8-v3","version":"4.42.0","shortVersion":"4.42.0","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2581023750","isCrawlerRequest":true}