“别人不做,所以我们得做。” 文丨江思远 蓝振忠的气质看上去像一名在读研究生,沉静,说话不疾不徐,他是卡耐基梅隆大学博士,计算机视觉出身,曾是谷歌的大模型专家,做出了 ALBERT。两个多小时的访谈里,他三次共享屏幕给我们看论文,讲到自己的技术判断时,语气从来没有犹豫过。 这种气质可能和他酷爱的一项活动有关。冥想是蓝振忠在谷歌实习时学到的习惯,后来成了每天的固定功课。按照他的说法,冥想几乎随时随地都可以做,也不拘泥时间长短。 做过多年 AI 心理研究,蓝振忠觉得冥想 “对自己来说是最显著有效的放松方案”,因此他向身边的人各种推广,西湖心辰在 2021 年成立时,切入的领域也是 AI 心理。类似晚上睡不着或早晨醒不过来(这两件事恰好形成一种对照)这样的问题,都可以用冥想来解决。对蓝振忠而言,冥想是整理思绪、调节状态的一种方式,也帮助他更聚焦。 在 AI 世界探索也是一样的原理,多年来,蓝振忠的思路始终聚焦在用更本质的范式提升大模型能力上限。西湖心辰的业务逐渐回归到了这个简单的核心:做更聪明、也更快的大模型,服务超过千万的 C 端用户。 不过,蓝振忠的解法和我们所熟知的主流自回归大模型路线不一样,他更看重扩散模型的潜力,在这方面有绝对的信心。 常见的大模型都属于自回归,通俗来说,token 生成是按照顺序排列的,一个 token 一个 token 往外蹦,而扩散模型则可以先给出一个整体的轮廓,再通过一轮轮的迭代补全修正,换言之,它可以并行在多个位置同时生成 token。 扩散模型已经是图像和视频生成的主流路线,最具代表性的是 DiT 架构,即把扩散模型和 Transformer 结合起来,其中的 D 代表的就是扩散(Diffusion),OpenAI 的视频模型 Sora 就是一个应用典型。 蓝振忠认为通用大语言模型——目前 AI 竞赛的圣杯——同样适用这种方式。 2019