社区

文 | 魅影，编辑 | 嘉辛，出品 | 数智界

2022年底，美国人工智能研究公司OpenAI，发布了对话式机器人ChatGPT，凭借着更“聪明”的对话表现，ChatGPT迅速走红：

上线5天后，其注册用户数超过了100万；上线两个月后，其用户数破亿，打破了由Twitter保持的记录，成为史上增长最快的消费者应用，Twitter当时用了9个月。

进入2023年以来，ChatGPT引发的热潮还在继续，最直接的表现就是，全球范围内包括谷歌、微软、百度等科技公司都坐不住了。

2月7日，百度方面确认，其将推出类ChatGPT的产品，该项目定名为“文心一言”，英文名字叫“ERNIE Bot”，百度预计将在3个月内完成内测，并面向公众开放。

百度介绍，公司拥有ChatGPT的所有相关技术，在人工智能所包含的底层芯片、深度学习框架、大模型以及最上层的搜索等应用上，百度有全栈布局。

说回到ChatGPT，其更准确的叫法是基于GPT3.5的免费对话模型，GPT是使用预训练技术得到的通用的文本模型。GPT的发展历程中，依次经过了GPT-1、GPT-2、GPT-3这几次迭代。

无论是GPT-1、GPT-2，还是GPT-3，都可以称为是预训练大模型。

事实上，ChatGPT走红的背后，预训练大模型正在成为人工智能的新方向——这要追溯到2018年，谷歌发布了BERT模型，在机器阅读理解顶级水平测试中表现不俗，引发了业界的广泛关注。当时，谷歌团队的Thang Luong直接定义：BERT模型开启了NLP的新时代。

预训练大模型成为主流之后，AI开始从大量训练模型向训练大模型转变，以期让AI模型具有泛化能力，让AI真正走向通用且实用。

清华大学教授唐杰此前曾表示，为了提高机器学习算法的效率，改变传统的行业布局，过去几年，大家拼命做模型，导致模型越做越多，但是一般的模型训练效果并不如人意，花了大量财力精力，却始终达不到理想的训练效果。

他举例子说，小炼钢厂往往条件简陋，能炼钢，但质量不好。大连钢厂买得起设备、花得起电费，炼出的钢质量就好，大模型就是大炼钢厂，它可以获得大量数据，并把数据清洗干净，提升算力，满足要求。

百度技术委员会主席吴华在一次技术分享会上也曾提到，预训练大模型最大的优势，其能够充分地挖掘大规模无标注数据的潜力，从海量数据中学习知识与规律，就像我们人类的通识教育。“从出生开始，我们接受的都是通识教育，到上大学以后，才接受专业教育”，她这么说道。

百度此次下场推出的“文心一言”，也是一个基于预处理大模型的项目，底层的基石是百度在2019年推出的产业级知识增强文心大模型ERNIE。ERNIE是百度文心大模型中的其中一个。

去年，基于这一大模型的度晓晓，在写作、绘画、写歌等方面的能力已有过密集展示。