智通财经APP获悉，华泰证券发布研报称，北京时间4月19日，Meta发布Llama 3，本次开源参数量为8B和70B的两个版本，未来数个月内还会推出其他版本，升级点包括多模态、多语言能力、更长的上下文窗口和更强的整体功能。Llama 3性能大幅超越前代Llama 2，在同等级模型中效果最优。Meta目前正在训练超过400B的版本，性能比肩GPT-4，但尚未决定是否开源。对于国内大模型，后续需要关注：1)Llama 3中文化促进国内AI垂类模型、大模型应用的性能提升；2)Llama 3中文化与国内闭源模型的竞争。
华泰证券主要观点如下：
模型效果：大幅超越前代Llama 2，同等级效果最优
Llama 3分为大中小三个版本，相比其他模型：小规模的8B模型效果比同类大小的模型Mistral 7B、Gemma 7B略好或基本持平；中等规模的70B模型效果比Gemini Pro 1.5、Claude 3 Sonnet略好或相当，并超过GPT-3.5；最大的400B模型仍在训练过程中，设计目标是多模态、多语言，根据Meta公布的目前训练数据，其性能与GPT-4相当。相比前代Llama 2：对比指令精调模型，Llama 3 8B在多项基准测试中超过Llama 2 70B。在未来几个月中，Meta将发布多个具有新功能的模型，包括多模态、多语言能力、更长的上下文窗口和更强的整体功能，并将发布研究论文。
技术亮点：训练数据量与上下文长度扩充，GQA提升推理效率
华泰证券表示，Llama 3的模型结构相比Llama 2变化不大，都采用decoder-only架构，技术亮点主要在于预训练数据量、上下文长度、分组查询注意力机制：1)训练数据量极大扩充。Llama 3经过超15T token的预训练，训练数据集比Llama 2使用的数据集大七倍，其中代码数据扩充了4倍，使得Llama 3的代码能力和逻辑推理能力大幅度提升。2)上下文长度扩充。Llama3支持8k上下文长度，是Llama 2的2倍，同时大大降低了错误拒绝率，改善了一致性，但相比其他主流模型仍有差距(GPT-4 turbo 128k，Claude 3 100k，GPT-4 32k)；3)采用分组查询注意力(GQA)以加速推理。
应用：智能助手Meta AI、雷朋Meta智能眼镜等
Meta同时更新基于Llama 3构建的智能助手Meta AI，无需切换即可在 Instagram、Facebook、WhatsApp和Messenger的搜索框中畅通使用Meta AI。Llama 3很快将在AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM和Snowflake上推出，并得到AMD、AWS、戴尔、英特尔、英伟达、高通提供的硬件平台的支持。此外，雷朋Meta智能眼镜也将支持多模态的Meta AI。
行业观点：利好AI应用，关注Llama 3中文化与国内闭源大模型竞争
华泰证券表示，Llama 3的推出为开源模型注入了新的活力，未来还将新增多模态能力，看好Llama 3促进AI应用繁荣。海外头部厂商中，OpenAI和谷歌闭源模型领先，Meta凭借开源模型独树一帜的竞争格局继续维持。对于国内大模型，后续需要关注：1)Llama 3中文化促进国内AI垂类模型、大模型应用的性能提升；2)Llama 3中文化与国内闭源模型的竞争。
风险提示：AI及技术落地不及预期；本研报中涉及到未上市公司或未覆盖个股内容，均系对其客观公开信息的整理，并不代表本研究团队对该公司、该股票的推荐或覆盖。
精彩评论