感谢IT之家网友 不一样的体验 的线索投递!造芯片的还有高手?刚刚推出的一款最新芯片,直接冲上硅谷热榜。峰值推理速度高达每秒17000 个 token。什么概念呢?当前公认最强的 Cerebras,速度约为 2000 token/s。速度直接快10 倍,同时成本骤减 20 倍、功耗降低 10 倍。这就意味着,LLM 真正来到了亚毫秒级的即时响应速度。但这块一夜之间刷屏硅谷的芯片,并非出自英伟达、...
网页链接感谢IT之家网友 不一样的体验 的线索投递!造芯片的还有高手?刚刚推出的一款最新芯片,直接冲上硅谷热榜。峰值推理速度高达每秒17000 个 token。什么概念呢?当前公认最强的 Cerebras,速度约为 2000 token/s。速度直接快10 倍,同时成本骤减 20 倍、功耗降低 10 倍。这就意味着,LLM 真正来到了亚毫秒级的即时响应速度。但这块一夜之间刷屏硅谷的芯片,并非出自英伟达、...
网页链接
精彩评论