今天,小米发布并开源了最新MoE大模型MiMo-V2-Flash。老实说,当看到“309B参数”这个数字时,下意识的反应是:也不是太大呀。但如果我们把目前主流的开源模型按总参数量画一个金字塔,那么MiMo-V2-Flash (309B) 也处于塔第一梯队:DeepSeek-V3/R1: 总参数 671B(MoE架构);Llama 3.1 405B: 总参数 405B(稠密模型);Grok-1: 总...
网页链接今天,小米发布并开源了最新MoE大模型MiMo-V2-Flash。老实说,当看到“309B参数”这个数字时,下意识的反应是:也不是太大呀。但如果我们把目前主流的开源模型按总参数量画一个金字塔,那么MiMo-V2-Flash (309B) 也处于塔第一梯队:DeepSeek-V3/R1: 总参数 671B(MoE架构);Llama 3.1 405B: 总参数 405B(稠密模型);Grok-1: 总...
网页链接
精彩评论