速度秒杀英伟达20倍，AI芯片公司黑马Groq刷屏_老虎社区_美港股上老虎

速度秒杀英伟达20倍，AI芯片公司黑马Groq刷屏

腾讯科技02-20

文/腾讯科技郝博阳金鹿财报发布前两天，英伟达突然冒出来一个劲敌。一家名叫Groq的公司今天在AI圈内刷屏，杀招就一个：快。在传统的生成式AI中，等待是稀松平常的事情，字符一个个蹦出，半天才能回答完毕。但在Groq今天开放的云服务体验平台上，你看到的会是一秒一屏。当模型收到提示后，几乎能够立即生成答案。这些答案不仅真实可信，还附有引用，长度更是达到数百个单词。电子邮件初创企业OthersideAI的...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

暂无评论

热议股票

7x24

全部

关于我们·老虎社区守则·老虎社区账号管理规范·老虎社区服务协议·老虎社区隐私政策

公司名称：北京至简风宜信息技术有限公司

违法和不良信息投诉：010-5681-3562（工作时间9:30-18:30）

邮箱：service@laohu8.com

营业执照：91110105MA01A4U55R

ICP备：京ICP备18016422号

网安备：京公网安备11010502036490

关注我们

{"i18n":{"language":"zh_CN"},"data":{"share":"https://www.laohu8.com/m/news/2412126853?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2024-02-20 15:46","share_image_url":"https://static.laohu8.com/9a95c1376e76363c1401fee7d3717173","id":"2412126853","market":"us","top_or_hot":-1,"title":"速度秒杀英伟达20倍，AI芯片公司黑马Groq刷屏","media":"腾讯科技","content":"<div>\n<p>文/腾讯科技郝博阳金鹿财报发布前两天，英伟达突然冒出来一个劲敌。一家名叫Groq的公司今天在AI圈内刷屏，杀招就一个：快。在传统的生成式AI中，等待是稀松平常的事情，字符一个个蹦出，半天才能回答完毕。但在Groq今天开放的云服务体验平台上，你看到的会是一秒一屏。当模型收到提示后，几乎能够立即生成答案。这些答案不仅真实可信，还附有引用，长度更是达到数百个单词。电子邮件初创企业OthersideAI的...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20240220154717819efa8c&s=b\">网页链接</a>\n\n</div>\n","source":"tencent","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>速度秒杀英伟达20倍，AI芯片公司黑马Groq刷屏</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n速度秒杀英伟达20倍，AI芯片公司黑马Groq刷屏\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-02-20 15:46 北京时间&nbsp;&nbsp;&nbsp;<a href=http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20240220154717819efa8c&s=b><strong>腾讯科技</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>文/腾讯科技郝博阳金鹿财报发布前两天，英伟达突然冒出来一个劲敌。一家名叫Groq的公司今天在AI圈内刷屏，杀招就一个：快。在传统的生成式AI中，等待是稀松平常的事情，字符一个个蹦出，半天才能回答完毕。但在Groq今天开放的云服务体验平台上，你看到的会是一秒一屏。当模型收到提示后，几乎能够立即生成答案。这些答案不仅真实可信，还附有引用，长度更是达到数百个单词。电子邮件初创企业OthersideAI的...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20240220154717819efa8c&s=b\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"IE00BMPRXR70.SGD","symbol_name":"Neuberger Berman 5G Connectivity A Acc SGD-H","start_time":0,"source_url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20240220154717819efa8c&s=b","article_id":"2412126853","we_media_id":null,"thumbnails":[],"rights":{"source":"tencent","url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20240220154717819efa8c&s=b","rn_cache_url":null,"customStyle":"body{padding-top:10px;}#news_title{font-weight:bold;#titleStyle#;}#news_description span{font-size:12px;#descriptionStyle#;}.footer-note{#statement#}","selectors":".mod-LoadTzbdNews, body","filters":".relate-stock, .hot-list, .recom-box, .wx-sou","directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2412126853","pubTimestamp":1708415179,"sourceInfo":{"source_id":"tencent","name":"腾讯"},"weMediaInfo":null,"summary":"一家名叫Groq的公司今天在AI圈内刷屏，杀招就一个：快。实际上，该公司成立于2016年，并在那时就注册了Groq商标。它使用的是SRAM，其速度比GPU所用的存储器快约20倍。鉴于AI的推理计算相较于模型训练需要的数据量远小，Groq的LPU因此更节能。Groq公司宣称，其技术能够通过其强大的芯片和软件，在AI任务中取代GPU的角色。Groq坚信其芯片将吸引大型数据中心运营商的青睐。罗斯坚称，Groq无意被收购。","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"IE00BMPRXR70.SGD":"Neuberger Berman 5G Connectivity A Acc SGD-H","BK4585":"ETF&股票定投概念","LU0234572021.USD":"高盛美国核心股票组合Acc","LU0820561909.HKD":"ALLIANZ INCOME AND GROWTH \"AM\" (HKD) INC","IE00BMPRXN33.USD":"NEUBERGER BERMAN 5G CONNECTIVITY \"A\" (USD) ACC","BK4567":"ESG概念","LU0820562030.AUD":"ALLIANZ INCOME AND GROWTH \"AMH2\" (AUDHDG) H2 INC","LU0109392836.USD":"富兰克林科技股A","LU0786609619.USD":"高盛全球千禧一代股票组合Acc","IE0004445015.USD":"JANUS HENDERSON BALANCED \"A2\" (USD) ACC","IE00BWXC8680.SGD":"PINEBRIDGE US LARGE CAP RESEARCH ENHANCED \"A5\" (SGD) ACC","LU0466842654.USD":"HSBC ISLAMIC GLOBAL EQUITY INDEX \"A\" (USD) ACC","LU0080751232.USD":"富达环球多元动力基金A","LU0097036916.USD":"贝莱德美国增长A2 USD","LU0689472784.USD":"安联收益及增长基金Cl AM AT Acc","BK4529":"IDC概念","LU0127658192.USD":"EASTSPRING INVESTMENTS GLOBAL TECHNOLOGY \"A\" (USD) ACC","BK4579":"人工智能","LU0320765059.SGD":"FTIF - Franklin US Opportunities A Acc SGD","BK4141":"半导体产品","LU0672654240.SGD":"FTIF - Franklin US Opportunities A Acc SGD-H1","LU0234570918.USD":"高盛全球核心股票组合Acc Close","LU0444971666.USD":"天利全球科技基金","LU0198837287.USD":"UBS (LUX) EQUITY SICAV - USA GROWTH \"P\" (USD) ACC","IE00BD6J9T35.USD":"NEUBERGER BERMAN NEXT GENERATION MOBILITY \"A\" (USD) ACC","BK4503":"景林资产持仓","LU0316494557.USD":"FRANKLIN GLOBAL FUNDAMENTAL STRATEGIES \"A\" ACC","LU0276348264.USD":"THREADNEEDLE (LUX) GLOBAL DYNAMIC REAL RETURN\"AUP\" (USD) INC","IE00BFSS8Q28.SGD":"Janus Henderson Balanced A Inc SGD-H","IE0034235188.USD":"PINEBRIDGE GLOBAL FOCUS EQUITY \"A\" (USD) ACC","LU0820561818.USD":"安联收益及增长平衡基金Cl AM DIS","BK4581":"高盛持仓","IE00B7KXQ091.USD":"Janus Henderson Balanced A Inc USD","NVDA":"英伟达","BK4551":"寇图资本持仓","LU0053666078.USD":"摩根大通基金-美国股票A（离岸）美元","BK4550":"红杉资本持仓","BK4588":"碎股","BK4543":"AI","BK4527":"明星科技股","IE00BFSS7M15.SGD":"Janus Henderson Balanced A Acc SGD-H","LU0056508442.USD":"贝莱德世界科技基金A2","LU0642271901.SGD":"Janus Henderson Horizon Global Technology Leaders A2 SGD-H","LU0417517546.SGD":"Allianz US Equity Cl AT Acc SGD","LU0079474960.USD":"联博美国增长基金A","BK4587":"ChatGPT概念","LU0719512351.SGD":"JPMorgan Funds - US Technology A (acc) SGD","BK4592":"伊斯兰概念","LU0640476718.USD":"THREADNEEDLE (LUX) US CONTRARIAN CORE EQ \"AU\" (USD) ACC","IE00BJJMRY28.SGD":"Janus Henderson Balanced A Inc SGD"},"translate_title":"The speed kills NVIDIA 20 times, and AI chip company dark horse Groq brushes the screen","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"NVDA":1},"content_text":"文/腾讯科技郝博阳金鹿财报发布前两天，英伟达突然冒出来一个劲敌。一家名叫Groq的公司今天在AI圈内刷屏，杀招就一个：快。在传统的生成式AI中，等待是稀松平常的事情，字符一个个蹦出，半天才能回答完毕。但在Groq今天开放的云服务体验平台上，你看到的会是一秒一屏。当模型收到提示后，几乎能够立即生成答案。这些答案不仅真实可信，还附有引用，长度更是达到数百个单词。电子邮件初创企业OthersideAI的首席执行官兼联合创始人马特·舒默（MattShumer）在演示中亲自体验了Groq的强大功能。他称赞Groq快如闪电，能够在不到一秒钟的时间内生成数百个单词的事实性、引用性答案。更令人惊讶的是，它超过3/4的时间用于搜索信息，而生成答案的时间却短到只有几分之一秒。虽然今天才刷屏，但Groq公司并非初出茅庐的新创企业。实际上，该公司成立于2016年，并在那时就注册了Groq商标。去年11月，当马斯克发布人工智能模型Grok时，Groq公司的开发者们就发了一篇文章说马斯克撞名自己的公司。信写的挺逗的，但这波流量他们是一点没吃到。这一回他们之所以能突然爆发，主要是因为Groq云服务的上线，让大家真的能亲身感受一下不卡顿的AI用起来有多爽，或者说有多吓人。有从事人工智能开发的用户称赞，Groq是追求低延迟产品的“游戏规则改变者”，低延迟指的是从处理请求到获得响应所需的时间。另一位用户则表示，Groq的LPU在未来有望对GPU在人工智能应用需求方面实现“革命性提升”，并认为它可能成为英伟达A100和H100芯片的“高性能硬件”的有力替代品。加速马达LPU技术根据其模型的首次公开基准测试结果，它云服务搭载的Llama2或Mistreal模型在计算和响应速度上远超ChatGPT。这一卓越性能的背后，是Groq团队为大语言模型（LLM）量身定制的专用芯片（ASIC），它使得Groq每秒可以生成高达500个token。相比之下，目前ChatGPT-3.5的公开版本每秒只能生成大约40个token。Groq公司声称，他们创造了第一个语言处理单元（LPU）来运行该模型，而不是通常用于运行人工智能模型的稀缺且昂贵的图形处理单元（GPU）。根据推特上与Groq关系密切的投资人k_zeroS分享，不同于NvidiaGPU需要依赖高速数据传输，Groq的LPU在其系统中没有采用高带宽存储器（HBM）。它使用的是SRAM，其速度比GPU所用的存储器快约20倍。鉴于AI的推理计算相较于模型训练需要的数据量远小，Groq的LPU因此更节能。在执行推理任务时，它从外部内存读取的数据更少，消耗的电量也低于Nvidia的GPU。LPU的工作原理与GPU截然不同。它采用了时序指令集计算机（TemporalInstructionSetComputer）架构，这意味着它无需像使用高带宽存储器（HBM）的GPU那样频繁地从内存中加载数据。这一特点不仅有助于避免HBM短缺的问题，还能有效降低成本。如果在AI处理场景中采用Groq的LPU，可能就无需为NvidiaGPU配置特殊的存储解决方案。LPU并不像GPU那样对存储速度有极高要求。Groq公司宣称，其技术能够通过其强大的芯片和软件，在AI任务中取代GPU的角色。传奇CEO，小团队Groq虽然默默无闻，但背后的团队可是人才济济。CEO是可被称为“TPU之父”的前谷歌员工乔纳森·罗斯；联合创始人道格拉斯·怀特曼也来自谷歌TPU团队，并先后创立了四家公司。该公司首席技术官吉姆·米勒曾是亚马逊云计算服务AWS设计算力硬件的负责人，CMO曾主导了苹果Macintosh的市场发布。（乔纳森·罗斯）他的总部位于加州山景城，该公司仅有180余名员工，甚至还不到英特尔等大型芯片制造商所需工程师数量的四分之一。罗斯等人的目标是在Groq复制他在谷歌的成功经验，打造一个内部芯片项目，引领整个行业向新技术迈进。然而，这次他将面临更为激烈的市场竞争，不仅要在估值高达4700亿美元的芯片行业中与巨头竞争，还要与众多拥有新颖解决方案的新创企业一较高下。Groq坚信其芯片将吸引大型数据中心运营商的青睐。凭借其可预测的性能和高效能耗比，Groq的组件有助于数据中心运营商实现更精细的规划和电力节约。此外，这些特性在动力有限的自动驾驶汽车中同样具有重要意义。罗斯坚称，Groq无意被收购。相反，他希望吸引少数关键客户，通过广泛部署Groq芯片为公司提供稳定的收入来源，推动公司的独立发展。目前，这家初创公司已开始向潜在客户发送样品。“这就像猎杀大象，”罗斯说道，“你只需要少数猎物就能维持自己的生命，尤其在我们还如此弱小的时候。”","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":null,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[],"hasMoreComments":false,"newsSizeData":{"likeSize":1,"commentSize":0,"repostSize":1,"favoriteSize":1,"likeStatus":false,"favoriteStatus":false}}