马斯克等大佬呼吁暂停AI实验是怎么回事

3月28日,非营利组织生命未来研究所(Future of Life Institute)发布了一封公开信,呼吁暂停对比GPT-4更强大的AI系统进行实验,期限是6个月,理由是这些系统对社会和人类存在潜在风险。

一些人工智能专家、企业高管签署了公开信表示支持,包括埃隆·马斯克、图灵奖获得者Yoshua Bengio、伯克利计算机科学教授Stuart Russell、苹果联合创始人Steve Wozniak、Pinterest联合创始人Evan Sharp、Ripple联合创始人Chris Larsen、Stability AI首席执行官Emad Mostaque,截至目前有1100多人签署。

公开信的重点在于呼吁更新相应的安全协议,适应如今人工智能的突飞猛进。

这份公开信出现之前,马斯克就是AI风险的提醒者。ChatGPT走红前后,他不断提醒:“文明未来面临的最大风险之一是人工智能”,倡议规范人工智能的安全,因为它可能比汽车、飞机或药品的风险更大,即便监管可能会减缓人工智能发展速度,约束也是好事。马斯克2018年离开了OpenAI董事会。

发布公开信的生命未来研究所成立于2015年,宣称的使命是“引导变革性技术造福生命,远离极端大规模风险”。组织由数位学者和企业家发起,包括加州大学圣克鲁斯分校信息物理学教授Anthony Aguirre、DeepMind AI安全研究科学家Victoria Krakovna, Skype和Kazaa的创始工程师Jaan Tallinn,麻省理工学院的物理学教授Max Tegmark,塔夫茨大学人机交互实验室学者Meia Chita-Tegmark。这家非盈利机构将精力集中在人工智能,军事化AI、保护生物多样性等领域。

并非所有行业人士都支持公开信的倡议,2018年图灵奖得主、Meta首席AI科学家Yann LeCun就不认同;他对 ChatGPT 的评价不高,认为就底层技术而言,ChatGPT 并没有革命性的创新。意料之中,OpenAI的科学家也没有签署公开信。

公开信全文

正如广泛的研究所表明的,具有人类竞争智能的人工智能系统可以对社会和人类构成深刻的风险,这也得到了顶级人工智能实验室的承认,正如广泛认可的阿西洛玛人工智能原则(Asilomar AI Principles)所述,先进的人工智能可能代表着地球生命历史上的深刻变化,应该以相称的关怀和资源来规划和管理。不幸的是,这种水平的规划和管理并没有发生,尽管最近几个月,人工智能实验室陷入了一场失控的竞赛,以开发和部署更强大的数字思维,没有人——甚至包括它们的创造者——能够理解、预测或可靠地控制。

当代人工智能系统在一般任务上变得与人类竞争,我们必须问自己:

我们应该让机器用宣传和谎言淹没我们的信息渠道吗?

我们是否应该把所有的工作都自动化掉,包括那些令人满意的工作?

我们是否应该发展非人类思维,让它们最终在数量上、智力上超过我们、被淘汰并取代我们?

我们是否应该冒险失去对我们文明的控制?

这样的决定不应委托给未经选举产生的科技领导者。只有在我们确信它们的影响是积极的、风险是可控的情况下,才应该开发强大的人工智能系统。这种信心必须有充分的理由,并随着系统潜在影响的大小而增加。

OpenAI最近在关于人工智能的声明中表示,“在开始训练未来的系统之前,在某种程度上,获得独立的审查可能很重要,对于最先进的努力来说,同意限制用于创建新模型的计算增长速度。”我们同意。就是现在。

因此,我们呼吁所有人工智能实验室立即暂停至少6个月的训练暂停训练比GPT-4更强大的人工智能系统。这种暂停应该是公开的、可核实的,并包括所有关键执行者。如果这样的暂停不能迅速实施,政府就应该介入并实施暂停。

人工智能实验室和独立专家应该利用这一暂停,共同开发和实施一套高级人工智能设计和开发的共享安全协议,这些协议由独立的外部专家严格审计和监督。这些协议应确保遵守这些协议的系统在合理怀疑之外是安全的,这并不意味着人工智能发展总体上的暂停,只是从危险的竞赛模式退一步,回到具有应急处置能力的模型之下。

人工智能的研究和开发应该重新聚焦于使当下强大、最先进的系统更加准确、安全、可解释、透明、强壮、一致、值得信赖和忠诚。

与此同时,人工智能开发人员必须与政策制定者合作,大幅加快开发强大的人工智能治理系统。这些措施至少应包括:致力于人工智能的新的、有能力的监管机构;监督和跟踪高能力的人工智能系统和大型计算能力;出处和水印系统,以帮助区分真实的和合成的,并跟踪模型泄漏;健全的审计和认证生态系统;人工智能造成的损害责任;为人工智能技术安全研究提供强有力的公共资金;以及资源充足的机构,以应对人工智能将造成的巨大经济和政治混乱(尤其是对民主的破坏)。

有了人工智能,人类可以享受繁荣的未来。在成功创建强大的人工智能系统之后,我们现在可以享受一个“人工智能之夏”,在这个夏天里,我们可以收获回报,设计这些系统,为所有人带来明显的利益,并给社会一个适应的机会。社会已经暂停了其他对社会有潜在灾难性影响的技术,我们现在也要这样做。让我们享受一个漫长的夏天,而不是毫无准备地匆忙进入一个秋天。

Pause Giant AI Experiments: An Open Letter

We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4.

AI systems with human-competitive intelligence can pose profound risks to society and humanity, as shown by extensive research and acknowledged by top AI labs.As stated in the widely-endorsed Asilomar AI Principles, Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. Unfortunately, this level of planning and management is not happening, even though recent months have seen AI labs locked in an out-of-control race to develop and deploy ever more powerful digital minds that no one – not even their creators – can understand, predict, or reliably control.

Contemporary AI systems are now becoming human-competitive at general tasks, and we must ask ourselves: Should we let machines flood our information channels with propaganda and untruth? Should we automate away all the jobs, including the fulfilling ones? Should we develop nonhuman minds that might eventually outnumber, outsmart, obsolete and replace us? Should we risk loss of control of our civilization? Such decisions must not be delegated to unelected tech leaders. Powerful AI systems should be developed only once we are confident that their effects will be positive and their risks will be manageable. This confidence must be well justified and increase with the magnitude of a system's potential effects. OpenAI's recent statement regarding artificial general intelligence, states that "At some point, it may be important to get independent review before starting to train future systems, and for the most advanced efforts to agree to limit the rate of growth of compute used for creating new models." We agree. That point is now.

Therefore, we call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.

AI labs and independent experts should use this pause to jointly develop and implement a set of shared safety protocols for advanced AI design and development that are rigorously audited and overseen by independent outside experts. These protocols should ensure that systems adhering to them are safe beyond a reasonable doubt. This does not mean a pause on AI development in general, merely a stepping back from the dangerous race to ever-larger unpredictable black-box models with emergent capabilities.

AI research and development should be refocused on making today's powerful, state-of-the-art systems more accurate, safe, interpretable, transparent, robust, aligned, trustworthy, and loyal.

In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause.

Humanity can enjoy a flourishing future with AI. Having succeeded in creating powerful AI systems, we can now enjoy an "AI summer" in which we reap the rewards, engineer these systems for the clear benefit of all, and give society a chance to adapt. Society has hit pause on other technologies with potentially catastrophic effects on society. We can do so here. Let's enjoy a long AI summer, not rush unprepared into a fall.

签署者(部分)

Yoshua Bengio,图灵奖获得者,蒙特利尔大学算法研究所所长

Stuart Russell,伯克利计算机科学教授,智能系统中心主任,教科书《人工智能:现代方法》合著者

埃隆·马斯克,SpaceX、特斯拉和推特的首席执行官

Steve Wozniak,苹果联合创始人

Yuval Noah Harari,耶路撒冷希伯来大学作者兼教授

杨安泽,2020年总统候选人,纽约时报畅销书作家,全球创业总统大使

Connor Leahy, Conjecture首席执行官

Jaan Tallinn, Skype联合创始人,生存风险研究中心,未来生命研究所

Evan Sharp,Pinterest联合创始人

Chris Larsen,Ripple联合创始人

Emad Mostaque, Stability AI首席执行官

Valerie Pisano, MILA总裁兼首席执行官

John J Hopfield,普林斯顿大学,名誉教授,联想神经网络的发明者

Rachel Bronson,《原子科学家公报》主席

Max Tegmark,麻省理工学院人工智能与基础交互中心,物理学教授,未来生命研究所所长

Anthony Aguirre,加州大学圣克鲁兹分校,生命未来研究所执行主任,物理学教授

Victoria Krakovna,DeepMind研究科学家,未来生命研究所联合创始人

Emilia Javorsky,未来生命研究所的医生、科学家和主任

Sean O'Heigeartaigh,剑桥生存风险研究中心执行董事

Tristan Harris,人道技术中心执行董事

Marc Rotenberg,人工智能和数字政策中心总裁

Nico Miailhe, The Future Society (TFS)创始人兼总裁

Zachary Kenton, DeepMind高级研究科学家

Ramana Kumar, DeepMind研究科学家

Gary Marcus,纽约大学人工智能研究员,名誉教授

Steve Omohundro, Beneficial AI Research,首席执行官

Luis Moniz Pereira,葡萄牙新里斯本大学名誉教授,德累斯顿大学名誉博士,欧洲ai研究员,AAIA研究员

Carles Sierra, IIIA-CSIC人工智能研究所所长;欧洲人工智能协会主席。中国船舶工业研究院研究教授,欧洲AI研究员

Ramon Lopez De Mantaras,人工智能研究所,研究教授,美国AAAI罗伯特·恩格尔莫尔纪念奖,欧洲AI研究员,西班牙政府国家数学研究奖

Mark Nitzberg,加州大学伯克利分校人类兼容人工智能中心执行董事

Gianluca Bontempi, Université Libre de Bruxelles,机器学习全职教授,ULB机器学习小组联合负责人

Daniel Schwarz, Metaculus公司首席技术官

Nicholas sapaparoff,软件架构师,ByteSphere Technologies和Phenome的创始人。人工智能

Alessandro Perilli,合成工作,人工智能研究员

Matt Mahoney, Hutter奖委员会,退休数据科学家,开发了PAQ和ZPAQ,用于评估使用压缩的语言模型的大型文本基准

Régis Sabbadin, Inrae-Université de Toulouse,法国,AI研究总监

Peter Stone,德克萨斯大学奥斯汀分校,计算机科学副主席,机器人主任,人工智能百年研究主席,计算机科学教授,IJCAI计算机与思想奖;AAAI、ACM、IEEE和AAAS会员。

Alessandro Saffiotti,瑞典Orebro大学教授,欧洲人工智能协会会员

Louis Rosenberg, Unanimous AI首席执行官兼首席科学家

Jason Tamara Widjaja,人工智能总监,认证人工智能道德与治理专家

Niki Iliadis,未来社会,人工智能与法治主任

Jeroen Franse博士,荷兰银行MLOps和ML治理顾问

Colin De La Higuera,Nantes Université,法国,联合国教科文组织开放教育资源和人工智能主席

Vincent Conitzer,卡内基梅隆大学和牛津大学,计算机科学教授,合作人工智能实验室基金会主任

Elionai Moura Cordeiro, UFRN | BioME | Plus3D CEO,AI研究员,RSG巴西成员,BioME研究员

Peter Warren,导演,《人工智能审判》作者

Takafumi Matsumaru,日本早稻田大学信息、生产与系统研究生院,教授,IEEE高级会员 $微软(MSFT)$ $Meta Platforms(META)$ $特斯拉(TSLA)$

# ChatGPT大战,谁能更胜一筹?

免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。

举报

评论3

  • 推荐
  • 最新
  • 一个人发呆
    ·2023-03-29
    有的人就坚持认为 AI会毁灭世界
    回复
    举报
  • tiger迷
    ·2023-03-29
    他们是怕人工智能抢了自己的饭碗么?
    回复
    举报
  • 抄底剁手啊
    ·2023-03-29
    因为羡慕嫉妒恨了吧哈哈
    回复
    举报