"今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。"
本文为IPO早知道原创
作者｜Stone Jin
据IPO早知道消息，李开复博士带队创办的AI 2.0公司「零一万物」日前已获得由阿里云领投的新一轮融资，估值已突破10亿美元。同时，零一万物于11月6日正式开源发布首款预训练大模型 Yi-34B。
值得注意的是，根据 Hugging Face 英文开源社区平台和C-Eval 中文评测的最新榜单，Yi-34B预训练模型以黑马姿态取得了多项 SOTA 国际最佳性能指标认可，成为全球开源大模型“双料冠军”，这也是迄今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。
零一万物创始人及CEO李开复博士表示：“零一万物坚定进军全球第一梯队目标，从招的第一个人，写的第一行代码，设计的第一个模型开始，就一直抱着成为‘World's No.1’的初衷和决心。我们组成了一支有潜力对标 OpenAI、Google等一线大厂的团队，经历了近半年的厚积薄发，以稳定的节奏和全球齐平的研究工程能力，交出了第一张极具全球竞争力的耀眼成绩单。Yi-34B可以说不负众望，一鸣惊人。”
在Yi 开源模型的全球首发日，李开复还宣布，在完成 Yi-34B 预训练的同时，已经旋即启动下一个千亿参数模型的训练。“零一万物的数据处理管线、算法研究、实验平台、GPU 资源和 AI Infra 都已经准备好，我们的动作会越来越快”。
当然，这些耀眼成绩单的背后还是源于零一万物潜心数月练就的大模型 “科学训模”方法论。
众所周知，大模型效果依赖于更多、更高质量的数据，零一万物在数据处理管线上可谓“不惜成本”——由前Google大数据和知识图谱专家领衔的数据团队，凭对数据的深度理解与认知，结合大量数据处理实验，建设了高效、自动、可评价、可扩展的智能数据处理管线。
不仅如此，经过几个月大量的建模和实验，零一万物自研出一套“规模化训练实验平台”，用来指导模型的设计和优化。数据配比、超参搜索、模型结构实验都可以在小规模实验平台上进行，对34B模型每个节点的预测误差都可以控制在0.5%以内。掌握了更强的模型预测能力，从而大大减少了进行对比实验需要的资源，也减少了训练误差对于计算资源的浪费。
数据处理管线和加大规模预测的训练能力建设，把以往的大模型训练碰运气的“炼丹”过程变得极度细致和科学化，不仅保证了目前发布Yi-34B、Yi-6B模型的高性能，也为未来更大规模模型的训练压缩了时间和成本，有能力以领先于行业的速度，将模型规模“丝滑”扩大到数倍。
另一方面，零一万物的团队现已覆盖了来自Google、微软、阿里巴巴、百度、字节跳动、腾讯等国内外顶级企业背景的人才，并持续延揽全球范围内最优秀的华人AI精英。
其中，零一万物算法和模型团队成员，有论文曾被GPT-4引用的算法大拿，有获得过微软内部研究大奖的优秀研究员，曾获得过阿里CEO特别奖的超级工程师。总计在ICLR、NeurIPS、CVPR、ICCV等知名学术会议上发表过大模型相关学术论文100余篇。
而零一万物技术副总裁及AI Alignment负责人是 Google Bard/Assistant 早期核心成员，主导或参与了从 Bert、LaMDA 到大模型在多轮对话、个人助理、AI Agent 等多个方向的研究和工程落地；首席架构师曾在Google Brain与Jeff Dean、Samy Bengio等合作，为TensorFlow的核心创始成员之一；零一万物技术副总裁及 Pretrain 负责人黄文灏是通用人工智能 AGI 的信仰者，他曾先后任职于微软亚洲研究院和智源研究院。在微软从事AI Agent研究工作时，得到微软创始人比尔·盖茨和CEO 萨提亚·纳德拉的高度赞扬；支持 Yi 模型训练保障交付的零一万物技术副总裁及AI Infra负责人戴宗宏，是前华为云 AI CTO 及技术创新部长、前阿里达摩院 AI Infra 总监。Infra核心团队主要来自于阿里、华为、微软、商汤，是AI 多领域具有高水平研究及系统研发能力的顶尖专家，曾经参与支持了4个千亿参数大模型规模化训练，管理过数万张GPU卡，夯实了端到端的全栈AI技术能力。
不难发现，零一万物集结了一支行业内少有的 AI Infra “技术天团”。
至于未来，零一万物将基于Yi系列大模型，打造更多To C超级应用。李开复强调，“AI 2.0是有史以来最大的科技革命，它带来的改变世界的最大机会一定是平台和技术，正如PC时代的微软Office，移动互联网时代的微信、抖音、美团一样，商业化爆发式增长概率最高的一定是ToC应用。零一万物邀请开发者社群跟我们一起搭建Yi开源模型的应用生态系，协力打造AI 2.0时代的超级应用。”
目前，Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球开源社区平台正式上线，同时开放商用申请，给开发者在使用LLM的过程中提供更多、更优质的选择。
本次开源的基座模型包括200K上下文窗口的基座模型，基座模型进行了比较均衡的IQ和EQ的配置，保留了后续进行不同方向微调的可能性。为了能让语言模型有更好的应用效果，广大开发者可以基于基座模型进行微调，GitHub 01Yi 开源网页上已经提供了简单的微调代码，同时模型和主流语言模型微调框架兼容，开发者可以自行进行适配。
接下来，零一万物还将基于Yi 基座模型，快节奏开源发布一系列的量化版本、对话模型、数学模型、代码模型和多模态模型等，邀请开发者积极投入，共同促进语言模型开源社区的繁荣发展，培育新型“AI-first”创新生态体系。
希望有更多的开发者使用Yi系列模型，打造自己场景中的“ChatGPT”，引领下一代前沿创新和商业模型，探索走向通用人工智能的先进能力！
精彩评论