MIT团队开发模型自检系统，几秒内检测并纠正，可兼容所有模型

市场资讯2025-06-10

炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！（来源：MIT News）机器学习中有一个众所周知的问题，称为“幻觉”，它指的是模型生成看似合理但事实上错误或无意义信息的现象。比如 ChatGPT 等大模型几乎可以解答所有问题，它们很少会暴露出自身知识的盲区或不确定领域。但随着 AI 系统日益广泛地应用于药物研发、信息整合和自动驾驶等领域，这一缺陷可能引发严重后果。如今，...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2542078315?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2025-06-10 18:08","share_image_url":"https://static.laohu8.com/b0d1b7e8843deea78cc308b15114de44","id":"2542078315","market":"other","top_or_hot":-1,"title":"MIT团队开发模型自检系统，几秒内检测并纠正，可兼容所有模型","media":"市场资讯","content":"<div>\n<p>炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ （来源：MIT News）机器学习中有一个众所周知的问题，称为“幻觉”，它指的是模型生成看似合理但事实上错误或无意义信息的现象。比如 ChatGPT 等大模型几乎可以解答所有问题，它们很少会暴露出自身知识的盲区或不确定领域。但随着 AI 系统日益广泛地应用于药物研发、信息整合和自动驾驶等领域，这一缺陷可能引发严重后果。如今，...</p>\n\n<a href=\"https://finance.sina.com.cn/stock/t/2025-06-10/doc-inezqwae0149839.shtml\">网页链接</a>\n\n</div>\n","source":"sina","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>MIT团队开发模型自检系统，几秒内检测并纠正，可兼容所有模型</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\nMIT团队开发模型自检系统，几秒内检测并纠正，可兼容所有模型\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-06-10 18:08 北京时间&nbsp;&nbsp;&nbsp;<a href=https://finance.sina.com.cn/stock/t/2025-06-10/doc-inezqwae0149839.shtml><strong>市场资讯</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ （来源：MIT News）机器学习中有一个众所周知的问题，称为“幻觉”，它指的是模型生成看似合理但事实上错误或无意义信息的现象。比如 ChatGPT 等大模型几乎可以解答所有问题，它们很少会暴露出自身知识的盲区或不确定领域。但随着 AI 系统日益广泛地应用于药物研发、信息整合和自动驾驶等领域，这一缺陷可能引发严重后果。如今，...</p>\n\n<a href=\"https://finance.sina.com.cn/stock/t/2025-06-10/doc-inezqwae0149839.shtml\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"M11.SI","symbol_name":"综合制造科技","start_time":0,"source_url":"https://finance.sina.com.cn/stock/t/2025-06-10/doc-inezqwae0149839.shtml","article_id":"2542078315","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2542078315","pubTimestamp":1749550080,"columns":[],"sourceInfo":{"source_id":"sina","name":"sina"},"weMediaInfo":null,"summary":"但随着 AI 系统日益广泛地应用于药物研发、信息整合和自动驾驶等领域，这一缺陷可能引发严重后果。该公司的 Capsa 平台可与任何机器学习模型协同工作，在数秒内检测并纠正不可靠的输出结果。在另一项研究中，Rus、Amini 及团队开发了一种能检测人脸识别系统种族与性别偏见的算法，通过自动重新加权模型训练数据，成功消除了偏见。此外，制药公司也可以使用 Capsa 优化用于筛选候选药物及预测临床试验效果的 AI 模型。","collect":0,"end_time":0,"defaultTopTitle":"sina.com.cn","property":[],"viewcount":null,"language":"zh","relate_stocks":{"M11.SI":"综合制造科技","BK6515":"技术设备股","BK6062":"电子制造服务"},"translate_title":"The MIT team develops a model self-inspection system that detects and corrects in seconds and is compatible with all models","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"MIT":1,"M11.SI":1},"content_text":"炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ （来源：MIT News）机器学习中有一个众所周知的问题，称为“幻觉”，它指的是模型生成看似合理但事实上错误或无意义信息的现象。比如 ChatGPT 等大模型几乎可以解答所有问题，它们很少会暴露出自身知识的盲区或不确定领域。但随着 AI 系统日益广泛地应用于药物研发、信息整合和自动驾驶等领域，这一缺陷可能引发严重后果。如今，麻省理工学院（MIT）的衍生公司 Themis AI 正致力解决上述问题，从而提升模型的可信度。该公司的 Capsa 平台可与任何机器学习模型协同工作，在数秒内检测并纠正不可靠的输出结果。其工作原理是通过改造 AI 模型，使其能够识别数据处理过程中暗示模糊性、不完整性或偏见的模式。“我们的理念是将模型嵌入 Capsa 框架，识别其不确定性和故障模式，进而优化模型。我们很高兴能提供一种解决方案，既能改进模型，又能保证模型正常运行。” Themis AI 的联合创始人、MIT 计算机科学与人工智能实验室（CSAIL）主任 Daniela Rus 表示。Rus 于 2021 年与实验室前研究员 Alexander Amini 以及 Elaheh Ahmadi 共同创立了 Themis AI。成立以来，该公司已协助电信公司优化网络规划与自动化系统，帮助石油企业运用 AI 解析地震图像，并发表了关于开发更可靠聊天机器人的研究论文。“我们的目标是让 AI 能够应用于各行业最高风险的领域。随着应用范围扩大，AI 产生的错误可能导致灾难性后果。Themis 的技术能让任何 AI 系统在故障发生前，预判并预测自身的失误。” Amini 表示。Themis AI 之旅始于数年前 Rus 教授在麻省理工学院的实验室，当时团队正在研究一个基本问题：如何让机器意识到自身的局限性？2018 年，Rus 团队获得了丰田公司的资助，用于研究基于机器学习的自动驾驶解决方案的可靠性。“在这种安全至关重要的场景下，了解模型的可靠性非常关键。”研究结果表明，将这些专有的不确定性估计算法与最先进的自动驾驶汽车相结合，可使碰撞次数减少 16 倍，计算时间缩短 12 倍，从近乎碰撞的场景中恢复的成功率提高 89%，并减少 93% 的自动驾驶请求。在另一项研究中，Rus、Amini 及团队开发了一种能检测人脸识别系统种族与性别偏见的算法，通过自动重新加权模型训练数据，成功消除了偏见。该算法通过识别底层训练数据中缺乏代表性的部分，并生成新的相似数据样本来实现数据再平衡。到 2021 年，这几位科学家已经证明类似方法可帮助制药公司利用 AI 模型预测候选药物特性。“指导药物发现可能节省巨额成本，正是这个应用案例让我们意识到这项技术的巨大潜力。” Rus 表示。结果表明，该方法能够在不确定性与误差相关的情况下进行校准预测，通过不确定性引导的主动学习实现样本高效训练，并提高了实验验证率。药物研发成本降低 75%，研发速度提高 10 倍，训练数据减少 60%。同年晚些时候，他们创立了 Themis AI。如今，Themis AI 正在与多个行业的企业开展合作，其中很多公司正在构建自己的大型语言模型。通过使用 Capsa 平台，这些模型能够分析其输出并报告其置信度，从而帮助在采取行动前标记处潜在的不可靠结果。该技术的另一个优势在于它适用于计算能力有限的设备。边缘设备使用的模型规模较小，无法达到服务器上运行的大型模型的精度。但有了 Themis 的技术，这些设备将能够在本地更好地处理大多数任务，只有在遇到挑战时才会向大型服务器请求帮助。Themis AI 在与半导体厂商探讨在芯片上部署可脱离云环境的 AI 解决方案。“通常手机或嵌入式系统的小型模型精度远低于服务器版本，但我们的技术能实现两全其美：在保持低延迟、高效边缘计算的同时不牺牲质量。我们预见未来边缘设备将承担主要工作，但当其输出存疑时，可将任务转交中央服务器处理。” Themis AI 技术主管 Stewart Jamieson 表示。此外，制药公司也可以使用 Capsa 优化用于筛选候选药物及预测临床试验效果的 AI 模型。图 | 该公司的投资方（来源：Themis AI 官网）目前，Themis AI 正在探索 Capsa 在改进 AI 思维链推理方面的潜力，这将显著提升 LLM 的性能和效率。这一进展对于提升 AI 体验、降低延迟和降低计算需求具有深远的影响。https://news.mit.edu/2025/themis-ai-teaches-ai-models-what-they-dont-know-0603\n\n\n\n海量资讯、精准解读，尽在新浪财经APP","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"isVideo":false,"video":null,"symbols":[],"gpt_button":1,"need_auth":false,"need_login_tip":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"tenantId":"TBCN","deviceId":"web-server-community-laohu8-v3","version":"4.43.1","shortVersion":"4.43.1","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2542078315","isCrawlerRequest":true}