炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!
(来源:澎湃新闻)
AI(人工智能)芯片龙头英伟达史上最大规模收购的技术实现了商业化。
当地时间8月24日,英伟达宣布,旗下Groq 3 LPX架构已经实现全面量产,该架构通过大幅提升Token(字元)生成速率,扩展了英伟达Vera Rubin NVL72系统的推理性能。同时,新云厂商Nebius成为首个采用英伟达Groq 3 LPX的AI云服务商,产品将于今年晚些时候上线。
英伟达表示,智能体AI(Agentic AI)带来了两个独特的计算挑战:对海量上下文的高效处理,以及以极低延迟生成Token。因此,Groq 3 LPX专为拓展Vera Rubin的交互性(即针对单个用户生成Token的速率)而生,这决定了智能体完成其工作中每一步的速度。
据介绍,在全球知名独立AI大模型评测机构Artificial Analysis的基准测试中,Groq 3 LPX在智能体编程及其他对延迟敏感的工作负载中展现出了“世界级的速度”,其响应速度比表现最接近的替代平台还要快4倍。
英伟达CEO黄仁勋表示:“Vera Rubin延续了我们的愿景,推出了针对智能体AI时代设计的‘工作负载优化型AI工厂配置’,通过LPX实现超高速Token生成,再度突破性能上限。正如全球对AI计算的需求正在加速增长一样,这改变了智能的生产方式,使AI吞吐量、效率和响应速度实现了又一次巨大飞跃。”
这也意味着,英伟达公司史上最大规模收购所获得的技术正式完成商业化落地。去年12月,英伟达以200亿美元拿下了芯片初创公司Groq的核心班底,这也是英伟达迄今为止规模最大的一笔收购交易。
今年3月,英伟达宣布推出新的定制芯片Groq 3 LPU,预计其将于第三季度出货,还有装载该芯片的数据中心机架LPX。今年5月,黄仁勋在财报电话会上表示,该机架是“为低延迟和高token生成速度而设计的,但其吞吐量很低”,用例并不广泛。
英伟达正在努力制造Groq芯片并向客户交付,凸显出低延迟推理日益增长的重要性。像Groq这样的低延迟芯片并不会取代GPU,而是专注于模型服务中被称为“解码”阶段的部分。
英伟达高级总监狄翁·哈里斯(Dion Harris)在接受外媒采访时表示,云服务厂商可以针对这种高质量的Token输出收取更高的费用:“他们能够解锁新的商业模式,为那些对延迟极其敏感、且对此有严格服务协议(SLA)需求的最终用户和客户,提供更高溢价的高级服务套餐。”
24日当天,英伟达(Nasdaq:NVDA)股价跌2.91%收于每股208.48美元,总市值5.05万亿美元。公司股价连续第七个交易日收跌,创下2022年以来的最长连跌纪录。英伟达即将在当地时间8月26日美股盘后发布财报。
此外,据外媒近日报道,英伟达最大的几家客户已被告知,搭载其AI芯片的服务器价格将上涨超过15%,从明年初出货的系统正式生效,将影响包括搭载旗舰级Vera Rubin和Grace Blackwell芯片在内的服务器系统。
上一篇:中方:令人深感痛心和忧虑