喵喵喵喵怪
2023-05-11
meta变成大赢家
@元宇宙日爆:
大模型遭泄两月后 Meta意外变赢家
免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。
分享至
微信
复制链接
精彩评论
我们需要你的真知灼见来填补这片空白
打开APP,发表看法
APP内打开
发表看法
{"i18n":{"language":"zh_CN"},"detailType":1,"isChannel":false,"data":{"magic":2,"id":656500542,"tweetId":"656500542","gmtCreate":1683781870886,"gmtModify":1683781872879,"author":{"id":4127983098741210,"authorId":4127983098741210,"authorIdStr":"4127983098741210","name":"喵喵喵喵怪","avatar":"https://static.tigerbbs.com/51ffad314ccd8e5abecb6cb8de356475","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":0,"individualDisplayBadges":[],"starInvestorFlag":false},"themes":[],"images":[],"coverImages":[],"html":"<html><head></head><body><p>meta变成大赢家</p></body></html>","htmlText":"<html><head></head><body><p>meta变成大赢家</p></body></html>","text":"meta变成大赢家","highlighted":1,"essential":1,"paper":1,"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"link":"https://laohu8.com/post/656500542","repostId":656257400,"repostType":1,"repost":{"magic":2,"id":656257400,"tweetId":"656257400","gmtCreate":1683771844300,"gmtModify":1683772534420,"author":{"id":4135322154408620,"authorId":4135322154408620,"authorIdStr":"4135322154408620","name":"元宇宙日爆","avatar":"https://static.tigerbbs.com/ca1bfe580c6b059ec90f112b0898dcba","vip":1,"userType":1,"introduction":"","boolIsFan":false,"boolIsHead":false,"crmLevel":1,"crmLevelSwitch":0,"individualDisplayBadges":[],"starInvestorFlag":false},"themes":[],"images":[{"img":"https://static.tigerbbs.com/98924c5bb4b0b24045de2d1429d5e1cb","width":"640","height":"276"},{"img":"https://static.tigerbbs.com/9c717f5f31b169a2c693b1167b259131","width":"640","height":"199"},{"img":"https://static.tigerbbs.com/405ebd95ef15a93243553f97bfdad6a2","width":"640","height":"773"},{"img":"https://static.tigerbbs.com/e409225206ba6f59c1ccaa895c3a161b","width":"640","height":"486"}],"coverImages":[{"img":"https://static.tigerbbs.com/98924c5bb4b0b24045de2d1429d5e1cb","width":"640","height":"276"},{"img":"https://static.tigerbbs.com/9c717f5f31b169a2c693b1167b259131","width":"640","height":"199"},{"img":"https://static.tigerbbs.com/405ebd95ef15a93243553f97bfdad6a2","width":"640","height":"773"}],"title":"大模型遭泄两月后 Meta意外变赢家","html":"<html><head></head><body><p></p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/405ebd95ef15a93243553f97bfdad6a2\" tg-width=\"640\" tg-height=\"773\"></p>\n<p></p>\n<p style=\"text-align: justify;\">一份被意外泄露的谷歌内部文件,将Meta的LLaMA大模型“非故意开源”事件再次推到聚光灯前。</p>\n<p style=\"text-align: justify;\">“泄密文件”的作者据悉是谷歌内部的一位研究员,他大胆指出,开源力量正在填平OpenAI与谷歌等大模型巨头们数年来筑起的护城河,而最大的受益者是Meta,因为该公司2月意外泄露的LLaMA模型,正在成为开源社区训练AI新模型的基础。</p>\n<p style=\"text-align: justify;\">几周内,开发者与研究人员基于LLaMA搞起微调训练,接连发布了Alpaca、Vicuna、Dromedary等中小模型,不只训练成本仅需几百美元,硬件门槛也降低至一台笔记本电脑甚至一部手机,测试结果不比GPT-4差。</p>\n<p style=\"text-align: justify;\">除了AI模型之外,FreedomGPT等类ChatGPT应用也如雨后春笋般涌现,基于LLaMa的“羊驼家族”不断壮大,这位研究员认为,Meta很可能借此形成生态,从而成为最大赢家。</p>\n<p style=\"text-align: justify;\">事实上,人工智能的世界里,的确有一部分进入了“安卓时刻”,这个部分就是开源社区。特斯拉前AI主管Andrej Karpathy评价开源社区中的AI进化时称,他看到了“寒武纪大爆发的早期迹象”。</p>\n<p style=\"text-align: justify;\">在AI竞速的赛道上,奔跑的不只有科技巨头,开源社区正在从小径中涌入大道,成为人工智能开发层面不可忽视的力量。</p>\n<h2>LLaMa意外开源养出 “羊驼家族”</h2>\n<p style=\"text-align: justify;\">“我们没有护城河,OpenAI 也没有。”一篇来自Google 内部的文章在 SemiAnalysis 博客传播,文章作者认为,Meta的LLaMa开源模型快速聚集起生态雏形,正在消除与GPT之间的差距,开源AI最终会打破 Google与OpenAI的护城河。</p>\n<p style=\"text-align: justify;\">这篇文章让人重新注意到了Meta的 LLaMA 大模型,该模型代码被泄露后的2个月里意外成了开源社区训练自然语言模型的基础,还产生了诸多中小模型及应用。</p>\n<p style=\"text-align: justify;\">时间回到今年2月24日,Meta推出大语言模型LLaMA,按参数量分为7B、13B、33B和65B四个版本。别看参数量远远不及GPT-3,但效果在AI圈内获得了一些正面评价,尤其是能在单张GPU运行的优势。</p>\n<p style=\"text-align: justify;\">Meta在官方博客中曾称,像LLaMA这种体积更小、性能更高的模型,能够供社区中无法访问大量基础设施的人研究这些模型,进一步实现人工智能大语言模型开发和访问的民主化。</p>\n<p style=\"text-align: justify;\">“民主化”来得异常快。LLaMA推出一周后,一位名叫llamanon的网友在国外论坛4chan上以种子文件的方式上传了7B和65B的LLaMA模型,下载后大小仅为 219GB。此后,这个种子链接被发布到开源社区GitHub,下载量超过千次。LLaMA就这样被泄露了,但也因此诞生了诸多实验成果。</p>\n<p style=\"text-align: justify;\">最初,名叫 Georgi Gerganov 的开发者开源了一个名为llama.cpp的项目,他基于LLaMA 模型的简易Python语言的代码示例,手撸了一个纯 C/C++ 语言的版本,用作模型推理。换了语言的最大优势就是研究者无需 GPU、只用 CPU能运行LLaMA模型,这让大模型的训练硬件门槛大大降低。</p>\n<p style=\"text-align: justify;\">正如谷歌那位研究员写得那样,“训练和实验的门槛从一个大型研究机构的全部产出降低到1个人、1晚上和1台性能强大的笔记本电脑就能完成。”在开发者的不断测试下,LLaMA已经能够在微型计算机树莓派4和谷歌Pixel 6手机上运行。</p>\n<p style=\"text-align: justify;\">开源社区的创新热情也彻底点燃,每隔几天都会有新进展,几乎形成了一个“LLaMA(羊驼)生态”。</p>\n<p style=\"text-align: justify;\">3月15日,斯坦福大学微调LLaMA后发布了Alpaca(美洲驼)模型,仅用了52K数据,训练时长为3小时。研究者宣称,测试结果与GPT-3.5不分伯仲,而训练成本还不到600美元,在一些测试中,Alpace与GPT-3.5的获胜次数分别为90对89。</p>\n<p style=\"text-align: justify;\">随后,加州大学伯克利分校、卡内基梅隆大学、加州大学圣地亚哥分校的研究人员又提出新的模型Vicuna(小羊驼),也是基于LLaMa做出来的,训练成本仅300美元。</p>\n<p style=\"text-align: justify;\">在该项目的测评环节,研究人员让GPT-4当“考官”,结果显示,GPT-4在超过90%的问题中更强倾向于Vicuna的回答,并且Vicuna在总分上达到了ChatGPT的92%。</p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/98924c5bb4b0b24045de2d1429d5e1cb\" tg-width=\"640\" tg-height=\"276\"><span>用GPT-4测评Vicuna与其他开源模型</span></p>\n<p style=\"text-align: justify;\">短短几周,基于LLaMa构建的“羊驼家族”不断壮大。</p>\n<p style=\"text-align: justify;\">4月3日,伯克利人工智能研究院发布了基于LLaMa微调的新模型 Koala(考拉),训练成本小于100美元,在超过一半的情况下与 ChatGPT 性能相当;5月4日,卡内基梅隆大学语言技术研究所、IBM 研究院与马萨诸塞大学阿默斯特分校的研究者们,推出了开源自对齐语言模型Dromedary(单峰骆驼),通过不到300行的人工标注,就能让65B的LLaMA基础语言模型在TruthfulQA(真实性基准)上超越GPT-4。</p>\n<p style=\"text-align: justify;\">在国内,垂直医疗领域的 “羊驼家族”成员也出现了,哈尔滨工业大学基于LLaMa模型的指令微调,推出了中文医学智能问诊模型HuaTuo(华驼),该模型能够生成专业的医学知识回答。</p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/9c717f5f31b169a2c693b1167b259131\" tg-width=\"640\" tg-height=\"199\"><span>哈工大推出中文医学智能问诊模型HuaTuo(华驼)</span></p>\n<p style=\"text-align: justify;\">基于该模型的开源创新不仅在大模型上,应用层也有多点开花之势。</p>\n<p style=\"text-align: justify;\">3月31日,AI公司Age of AI推出了语言模型FreedomGPT,正是基于斯坦福大学的Alpaca开发出来的;3月29日,加州大学伯克利分校在它的Colossal-AI基础下发布了ColossalChat对话机器人,能力包括知识问答、中英文对话、内容创作、编程等。</p>\n<p style=\"text-align: justify;\">从基础模型层到应用层,基于LLaMa所诞生的“羊驼家族”还在一路狂奔。</p>\n<p style=\"text-align: justify;\">由于被 “开源” 的 LLaMA 出自 Meta 之手,那位发文的谷歌研究员认为,Meta意外成了这场AI竞争中的最大受益者——借助开源社区的力量,Meta获得了全世界顶级开发者的免费劳动力,因为大多数开源的 AI 创新都发生在他们的基础架构内,因此,没有什么能阻止 Meta将这些成果直接整合到他们的产品中。</p>\n<h2>开源力量触发“AI的安卓时刻”</h2>\n<p style=\"text-align: justify;\">ChatGPT引爆AI热后,英伟达的CEO黄仁勋将这股浪潮喻为“AI的iPhone时刻”,他认为,AI行业进入了如iPhone诞生颠覆手机行业时的革命性时间点。而当LLaMA开启开源社区的小宇宙后,网友认为,“AI的安卓时刻”来了。</p>\n<p style=\"text-align: justify;\">回顾过去,谷歌曾以开源思想让更多的开发者参与到安卓应用生态的建设中,最终让安卓成为电脑与手机的系统/应用主流。如今,LLaMA再次让AI业内看到了开源力量的强大。</p>\n<p style=\"text-align: justify;\">智能软硬件件开发公司出门问问的CEO李志飞也注意到了谷歌这篇内部声音:</p>\n<p style=\"text-align: justify;\"><em>“大模型这个领域,Google已经在声势上大幅落后于OpenAI。在开源生态上,如果Google再犹豫不决,后面就算想开源也会大幅度落后于Meta的LLaMA。相反,如果开源,可以把OpenAI的壁垒进一步降低,而且会吸引(或留住)很多支持开源的高级人才。”</em></p>\n<p style=\"text-align: justify;\">特斯拉前AI主管Andrej Karpathy认为:</p>\n<p style=\"text-align: justify;\"><em>“当前开源大模型的生态之势,已经有了寒武纪大爆发的早期迹象。”</em></p>\n<p style=\"text-align: justify;\">确实,开发者对开源的AI模型前所未有的热情正在从Github的打星量指标中溢出:Alpaca获得了23.2k星,llama.cpp获26.3k星,LLaMA获20.8k星……而在“羊驼家族”之前,AutoGPT等开源项目也在Github拥有超高的人气,突破100k星。</p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/e409225206ba6f59c1ccaa895c3a161b\" tg-width=\"640\" tg-height=\"486\"><span>开发者对开源AI模型的打星量</span></p>\n<p style=\"text-align: justify;\">此外,为了追赶 ChatGPT,构建大型开源社区的 AI 初创公司Hugging Face 也在近日推出了开源聊天机器人HuggingChat,该机器人的底层模型拥有300 亿个参数,并对外开放了训练数据集。英伟达 AI 科学家 Jim Fan认为,如果后续开发应用程序,Hugging Face将比 OpenAI 更具优势。</p>\n<p style=\"text-align: justify;\">开源力量来势汹汹,手握OpenAI的微软也并不准备把鸡蛋都放在一个篮子里。今年4月,微软推出了开源模型DeepSpeed Chat,为用户提供了 “傻瓜式” 操作,将训练速度提升了15倍。</p>\n<p style=\"text-align: justify;\">以LLaMA 为核心的AI开源社区正在平行空间中,与OpenAI等走闭源路线的大模型巨头展开竞速,开源思想与实践中爆发出的创新力量已经不容巨头小觑了。</p></body></html>","htmlText":"<html><head></head><body><p></p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/405ebd95ef15a93243553f97bfdad6a2\" tg-width=\"640\" tg-height=\"773\"></p>\n<p></p>\n<p style=\"text-align: justify;\">一份被意外泄露的谷歌内部文件,将Meta的LLaMA大模型“非故意开源”事件再次推到聚光灯前。</p>\n<p style=\"text-align: justify;\">“泄密文件”的作者据悉是谷歌内部的一位研究员,他大胆指出,开源力量正在填平OpenAI与谷歌等大模型巨头们数年来筑起的护城河,而最大的受益者是Meta,因为该公司2月意外泄露的LLaMA模型,正在成为开源社区训练AI新模型的基础。</p>\n<p style=\"text-align: justify;\">几周内,开发者与研究人员基于LLaMA搞起微调训练,接连发布了Alpaca、Vicuna、Dromedary等中小模型,不只训练成本仅需几百美元,硬件门槛也降低至一台笔记本电脑甚至一部手机,测试结果不比GPT-4差。</p>\n<p style=\"text-align: justify;\">除了AI模型之外,FreedomGPT等类ChatGPT应用也如雨后春笋般涌现,基于LLaMa的“羊驼家族”不断壮大,这位研究员认为,Meta很可能借此形成生态,从而成为最大赢家。</p>\n<p style=\"text-align: justify;\">事实上,人工智能的世界里,的确有一部分进入了“安卓时刻”,这个部分就是开源社区。特斯拉前AI主管Andrej Karpathy评价开源社区中的AI进化时称,他看到了“寒武纪大爆发的早期迹象”。</p>\n<p style=\"text-align: justify;\">在AI竞速的赛道上,奔跑的不只有科技巨头,开源社区正在从小径中涌入大道,成为人工智能开发层面不可忽视的力量。</p>\n<h2>LLaMa意外开源养出 “羊驼家族”</h2>\n<p style=\"text-align: justify;\">“我们没有护城河,OpenAI 也没有。”一篇来自Google 内部的文章在 SemiAnalysis 博客传播,文章作者认为,Meta的LLaMa开源模型快速聚集起生态雏形,正在消除与GPT之间的差距,开源AI最终会打破 Google与OpenAI的护城河。</p>\n<p style=\"text-align: justify;\">这篇文章让人重新注意到了Meta的 LLaMA 大模型,该模型代码被泄露后的2个月里意外成了开源社区训练自然语言模型的基础,还产生了诸多中小模型及应用。</p>\n<p style=\"text-align: justify;\">时间回到今年2月24日,Meta推出大语言模型LLaMA,按参数量分为7B、13B、33B和65B四个版本。别看参数量远远不及GPT-3,但效果在AI圈内获得了一些正面评价,尤其是能在单张GPU运行的优势。</p>\n<p style=\"text-align: justify;\">Meta在官方博客中曾称,像LLaMA这种体积更小、性能更高的模型,能够供社区中无法访问大量基础设施的人研究这些模型,进一步实现人工智能大语言模型开发和访问的民主化。</p>\n<p style=\"text-align: justify;\">“民主化”来得异常快。LLaMA推出一周后,一位名叫llamanon的网友在国外论坛4chan上以种子文件的方式上传了7B和65B的LLaMA模型,下载后大小仅为 219GB。此后,这个种子链接被发布到开源社区GitHub,下载量超过千次。LLaMA就这样被泄露了,但也因此诞生了诸多实验成果。</p>\n<p style=\"text-align: justify;\">最初,名叫 Georgi Gerganov 的开发者开源了一个名为llama.cpp的项目,他基于LLaMA 模型的简易Python语言的代码示例,手撸了一个纯 C/C++ 语言的版本,用作模型推理。换了语言的最大优势就是研究者无需 GPU、只用 CPU能运行LLaMA模型,这让大模型的训练硬件门槛大大降低。</p>\n<p style=\"text-align: justify;\">正如谷歌那位研究员写得那样,“训练和实验的门槛从一个大型研究机构的全部产出降低到1个人、1晚上和1台性能强大的笔记本电脑就能完成。”在开发者的不断测试下,LLaMA已经能够在微型计算机树莓派4和谷歌Pixel 6手机上运行。</p>\n<p style=\"text-align: justify;\">开源社区的创新热情也彻底点燃,每隔几天都会有新进展,几乎形成了一个“LLaMA(羊驼)生态”。</p>\n<p style=\"text-align: justify;\">3月15日,斯坦福大学微调LLaMA后发布了Alpaca(美洲驼)模型,仅用了52K数据,训练时长为3小时。研究者宣称,测试结果与GPT-3.5不分伯仲,而训练成本还不到600美元,在一些测试中,Alpace与GPT-3.5的获胜次数分别为90对89。</p>\n<p style=\"text-align: justify;\">随后,加州大学伯克利分校、卡内基梅隆大学、加州大学圣地亚哥分校的研究人员又提出新的模型Vicuna(小羊驼),也是基于LLaMa做出来的,训练成本仅300美元。</p>\n<p style=\"text-align: justify;\">在该项目的测评环节,研究人员让GPT-4当“考官”,结果显示,GPT-4在超过90%的问题中更强倾向于Vicuna的回答,并且Vicuna在总分上达到了ChatGPT的92%。</p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/98924c5bb4b0b24045de2d1429d5e1cb\" tg-width=\"640\" tg-height=\"276\"><span>用GPT-4测评Vicuna与其他开源模型</span></p>\n<p style=\"text-align: justify;\">短短几周,基于LLaMa构建的“羊驼家族”不断壮大。</p>\n<p style=\"text-align: justify;\">4月3日,伯克利人工智能研究院发布了基于LLaMa微调的新模型 Koala(考拉),训练成本小于100美元,在超过一半的情况下与 ChatGPT 性能相当;5月4日,卡内基梅隆大学语言技术研究所、IBM 研究院与马萨诸塞大学阿默斯特分校的研究者们,推出了开源自对齐语言模型Dromedary(单峰骆驼),通过不到300行的人工标注,就能让65B的LLaMA基础语言模型在TruthfulQA(真实性基准)上超越GPT-4。</p>\n<p style=\"text-align: justify;\">在国内,垂直医疗领域的 “羊驼家族”成员也出现了,哈尔滨工业大学基于LLaMa模型的指令微调,推出了中文医学智能问诊模型HuaTuo(华驼),该模型能够生成专业的医学知识回答。</p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/9c717f5f31b169a2c693b1167b259131\" tg-width=\"640\" tg-height=\"199\"><span>哈工大推出中文医学智能问诊模型HuaTuo(华驼)</span></p>\n<p style=\"text-align: justify;\">基于该模型的开源创新不仅在大模型上,应用层也有多点开花之势。</p>\n<p style=\"text-align: justify;\">3月31日,AI公司Age of AI推出了语言模型FreedomGPT,正是基于斯坦福大学的Alpaca开发出来的;3月29日,加州大学伯克利分校在它的Colossal-AI基础下发布了ColossalChat对话机器人,能力包括知识问答、中英文对话、内容创作、编程等。</p>\n<p style=\"text-align: justify;\">从基础模型层到应用层,基于LLaMa所诞生的“羊驼家族”还在一路狂奔。</p>\n<p style=\"text-align: justify;\">由于被 “开源” 的 LLaMA 出自 Meta 之手,那位发文的谷歌研究员认为,Meta意外成了这场AI竞争中的最大受益者——借助开源社区的力量,Meta获得了全世界顶级开发者的免费劳动力,因为大多数开源的 AI 创新都发生在他们的基础架构内,因此,没有什么能阻止 Meta将这些成果直接整合到他们的产品中。</p>\n<h2>开源力量触发“AI的安卓时刻”</h2>\n<p style=\"text-align: justify;\">ChatGPT引爆AI热后,英伟达的CEO黄仁勋将这股浪潮喻为“AI的iPhone时刻”,他认为,AI行业进入了如iPhone诞生颠覆手机行业时的革命性时间点。而当LLaMA开启开源社区的小宇宙后,网友认为,“AI的安卓时刻”来了。</p>\n<p style=\"text-align: justify;\">回顾过去,谷歌曾以开源思想让更多的开发者参与到安卓应用生态的建设中,最终让安卓成为电脑与手机的系统/应用主流。如今,LLaMA再次让AI业内看到了开源力量的强大。</p>\n<p style=\"text-align: justify;\">智能软硬件件开发公司出门问问的CEO李志飞也注意到了谷歌这篇内部声音:</p>\n<p style=\"text-align: justify;\"><em>“大模型这个领域,Google已经在声势上大幅落后于OpenAI。在开源生态上,如果Google再犹豫不决,后面就算想开源也会大幅度落后于Meta的LLaMA。相反,如果开源,可以把OpenAI的壁垒进一步降低,而且会吸引(或留住)很多支持开源的高级人才。”</em></p>\n<p style=\"text-align: justify;\">特斯拉前AI主管Andrej Karpathy认为:</p>\n<p style=\"text-align: justify;\"><em>“当前开源大模型的生态之势,已经有了寒武纪大爆发的早期迹象。”</em></p>\n<p style=\"text-align: justify;\">确实,开发者对开源的AI模型前所未有的热情正在从Github的打星量指标中溢出:Alpaca获得了23.2k星,llama.cpp获26.3k星,LLaMA获20.8k星……而在“羊驼家族”之前,AutoGPT等开源项目也在Github拥有超高的人气,突破100k星。</p>\n<p class=\"t-img-caption\"><img src=\"https://static.tigerbbs.com/e409225206ba6f59c1ccaa895c3a161b\" tg-width=\"640\" tg-height=\"486\"><span>开发者对开源AI模型的打星量</span></p>\n<p style=\"text-align: justify;\">此外,为了追赶 ChatGPT,构建大型开源社区的 AI 初创公司Hugging Face 也在近日推出了开源聊天机器人HuggingChat,该机器人的底层模型拥有300 亿个参数,并对外开放了训练数据集。英伟达 AI 科学家 Jim Fan认为,如果后续开发应用程序,Hugging Face将比 OpenAI 更具优势。</p>\n<p style=\"text-align: justify;\">开源力量来势汹汹,手握OpenAI的微软也并不准备把鸡蛋都放在一个篮子里。今年4月,微软推出了开源模型DeepSpeed Chat,为用户提供了 “傻瓜式” 操作,将训练速度提升了15倍。</p>\n<p style=\"text-align: justify;\">以LLaMA 为核心的AI开源社区正在平行空间中,与OpenAI等走闭源路线的大模型巨头展开竞速,开源思想与实践中爆发出的创新力量已经不容巨头小觑了。</p></body></html>","text":"一份被意外泄露的谷歌内部文件,将Meta的LLaMA大模型“非故意开源”事件再次推到聚光灯前。 “泄密文件”的作者据悉是谷歌内部的一位研究员,他大胆指出,开源力量正在填平OpenAI与谷歌等大模型巨头们数年来筑起的护城河,而最大的受益者是Meta,因为该公司2月意外泄露的LLaMA模型,正在成为开源社区训练AI新模型的基础。 几周内,开发者与研究人员基于LLaMA搞起微调训练,接连发布了Alpaca、Vicuna、Dromedary等中小模型,不只训练成本仅需几百美元,硬件门槛也降低至一台笔记本电脑甚至一部手机,测试结果不比GPT-4差。 除了AI模型之外,FreedomGPT等类ChatGPT应用也如雨后春笋般涌现,基于LLaMa的“羊驼家族”不断壮大,这位研究员认为,Meta很可能借此形成生态,从而成为最大赢家。 事实上,人工智能的世界里,的确有一部分进入了“安卓时刻”,这个部分就是开源社区。特斯拉前AI主管Andrej Karpathy评价开源社区中的AI进化时称,他看到了“寒武纪大爆发的早期迹象”。 在AI竞速的赛道上,奔跑的不只有科技巨头,开源社区正在从小径中涌入大道,成为人工智能开发层面不可忽视的力量。 LLaMa意外开源养出 “羊驼家族” “我们没有护城河,OpenAI 也没有。”一篇来自Google 内部的文章在 SemiAnalysis 博客传播,文章作者认为,Meta的LLaMa开源模型快速聚集起生态雏形,正在消除与GPT之间的差距,开源AI最终会打破 Google与OpenAI的护城河。 这篇文章让人重新注意到了Meta的 LLaMA 大模型,该模型代码被泄露后的2个月里意外成了开源社区训练自然语言模型的基础,还产生了诸多中小模型及应用。 时间回到今年2月24日,Meta推出大语言模型LLaMA,按参数量分为7B、13B、33B和65B四个版本。别看参数量远远不及GPT-3,但效果在AI圈内获得了一些正面评价,尤其是能在单张GPU运行的优势。 Meta在官方博客中曾称,像LLaMA这种体积更小、性能更高的模型,能够供社区中无法访问大量基础设施的人研究这些模型,进一步实现人工智能大语言模型开发和访问的民主化。 “民主化”来得异常快。LLaMA推出一周后,一位名叫llamanon的网友在国外论坛4chan上以种子文件的方式上传了7B和65B的LLaMA模型,下载后大小仅为 219GB。此后,这个种子链接被发布到开源社区GitHub,下载量超过千次。LLaMA就这样被泄露了,但也因此诞生了诸多实验成果。 最初,名叫 Georgi Gerganov 的开发者开源了一个名为llama.cpp的项目,他基于LLaMA 模型的简易Python语言的代码示例,手撸了一个纯 C/C++ 语言的版本,用作模型推理。换了语言的最大优势就是研究者无需 GPU、只用 CPU能运行LLaMA模型,这让大模型的训练硬件门槛大大降低。 正如谷歌那位研究员写得那样,“训练和实验的门槛从一个大型研究机构的全部产出降低到1个人、1晚上和1台性能强大的笔记本电脑就能完成。”在开发者的不断测试下,LLaMA已经能够在微型计算机树莓派4和谷歌Pixel 6手机上运行。 开源社区的创新热情也彻底点燃,每隔几天都会有新进展,几乎形成了一个“LLaMA(羊驼)生态”。 3月15日,斯坦福大学微调LLaMA后发布了Alpaca(美洲驼)模型,仅用了52K数据,训练时长为3小时。研究者宣称,测试结果与GPT-3.5不分伯仲,而训练成本还不到600美元,在一些测试中,Alpace与GPT-3.5的获胜次数分别为90对89。 随后,加州大学伯克利分校、卡内基梅隆大学、加州大学圣地亚哥分校的研究人员又提出新的模型Vicuna(小羊驼),也是基于LLaMa做出来的,训练成本仅300美元。 在该项目的测评环节,研究人员让GPT-4当“考官”,结果显示,GPT-4在超过90%的问题中更强倾向于Vicuna的回答,并且Vicuna在总分上达到了ChatGPT的92%。 用GPT-4测评Vicuna与其他开源模型 短短几周,基于LLaMa构建的“羊驼家族”不断壮大。 4月3日,伯克利人工智能研究院发布了基于LLaMa微调的新模型 Koala(考拉),训练成本小于100美元,在超过一半的情况下与 ChatGPT 性能相当;5月4日,卡内基梅隆大学语言技术研究所、IBM 研究院与马萨诸塞大学阿默斯特分校的研究者们,推出了开源自对齐语言模型Dromedary(单峰骆驼),通过不到300行的人工标注,就能让65B的LLaMA基础语言模型在TruthfulQA(真实性基准)上超越GPT-4。 在国内,垂直医疗领域的 “羊驼家族”成员也出现了,哈尔滨工业大学基于LLaMa模型的指令微调,推出了中文医学智能问诊模型HuaTuo(华驼),该模型能够生成专业的医学知识回答。 哈工大推出中文医学智能问诊模型HuaTuo(华驼) 基于该模型的开源创新不仅在大模型上,应用层也有多点开花之势。 3月31日,AI公司Age of AI推出了语言模型FreedomGPT,正是基于斯坦福大学的Alpaca开发出来的;3月29日,加州大学伯克利分校在它的Colossal-AI基础下发布了ColossalChat对话机器人,能力包括知识问答、中英文对话、内容创作、编程等。 从基础模型层到应用层,基于LLaMa所诞生的“羊驼家族”还在一路狂奔。 由于被 “开源” 的 LLaMA 出自 Meta 之手,那位发文的谷歌研究员认为,Meta意外成了这场AI竞争中的最大受益者——借助开源社区的力量,Meta获得了全世界顶级开发者的免费劳动力,因为大多数开源的 AI 创新都发生在他们的基础架构内,因此,没有什么能阻止 Meta将这些成果直接整合到他们的产品中。 开源力量触发“AI的安卓时刻” ChatGPT引爆AI热后,英伟达的CEO黄仁勋将这股浪潮喻为“AI的iPhone时刻”,他认为,AI行业进入了如iPhone诞生颠覆手机行业时的革命性时间点。而当LLaMA开启开源社区的小宇宙后,网友认为,“AI的安卓时刻”来了。 回顾过去,谷歌曾以开源思想让更多的开发者参与到安卓应用生态的建设中,最终让安卓成为电脑与手机的系统/应用主流。如今,LLaMA再次让AI业内看到了开源力量的强大。 智能软硬件件开发公司出门问问的CEO李志飞也注意到了谷歌这篇内部声音: “大模型这个领域,Google已经在声势上大幅落后于OpenAI。在开源生态上,如果Google再犹豫不决,后面就算想开源也会大幅度落后于Meta的LLaMA。相反,如果开源,可以把OpenAI的壁垒进一步降低,而且会吸引(或留住)很多支持开源的高级人才。” 特斯拉前AI主管Andrej Karpathy认为: “当前开源大模型的生态之势,已经有了寒武纪大爆发的早期迹象。” 确实,开发者对开源的AI模型前所未有的热情正在从Github的打星量指标中溢出:Alpaca获得了23.2k星,llama.cpp获26.3k星,LLaMA获20.8k星……而在“羊驼家族”之前,AutoGPT等开源项目也在Github拥有超高的人气,突破100k星。 开发者对开源AI模型的打星量 此外,为了追赶 ChatGPT,构建大型开源社区的 AI 初创公司Hugging Face 也在近日推出了开源聊天机器人HuggingChat,该机器人的底层模型拥有300 亿个参数,并对外开放了训练数据集。英伟达 AI 科学家 Jim Fan认为,如果后续开发应用程序,Hugging Face将比 OpenAI 更具优势。 开源力量来势汹汹,手握OpenAI的微软也并不准备把鸡蛋都放在一个篮子里。今年4月,微软推出了开源模型DeepSpeed Chat,为用户提供了 “傻瓜式” 操作,将训练速度提升了15倍。 以LLaMA 为核心的AI开源社区正在平行空间中,与OpenAI等走闭源路线的大模型巨头展开竞速,开源思想与实践中爆发出的创新力量已经不容巨头小觑了。","highlighted":1,"essential":1,"paper":2,"link":"https://laohu8.com/post/656257400","repostId":0,"isVote":1,"tweetType":1,"commentLimit":10,"symbols":["GPT.AU","GOOGL","GOOG"],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"upFlag":false,"length":5419,"xxTargetLangEnum":"ZH_CN"},"isVote":1,"tweetType":1,"viewCount":587,"commentLimit":10,"likeStatus":false,"favoriteStatus":false,"reportStatus":false,"symbols":[],"verified":2,"subType":0,"readableState":1,"langContent":"CN","currentLanguage":"CN","warmUpFlag":false,"orderFlag":false,"shareable":true,"causeOfNotShareable":"","featuresForAnalytics":[],"commentAndTweetFlag":false,"upFlag":false,"length":14,"xxTargetLangEnum":"ZH_CN"},"commentList":[],"isCommentEnd":true,"isTiger":false,"isWeiXinMini":false,"url":"/m/post/656500542"}
精彩评论