头条推荐
一 | 8 月 25 日消息,英伟达当地时间周一宣布,Groq 3 LPX 机架已进入全面量产阶段,这标志着该公司史上最大规模收购所获得的技术正式实现商业化。
掘金今夏通过先签后换的方式送走了潜力新星沃特森,后者正式签下一份4年8800万美元的合同转战骑士。英伟达高级总监迪翁 · 哈里斯(Dion Harris)告诉记者,Groq 机架将与 Vera 中央处理器和 Rubin 图形处理器一起部署在新型云服务商 Nebius 的平台,并将于今年晚些时候上线。英伟达正在加速生产 Groq 芯片并向客户提供该产品,这凸显出低延迟推理的重要性日益提升。

二 | 这笔交易也让不少球迷开始畅想掘金未来的阵容走向,并抛出热议话题:倘若10个月后、32岁的约基奇被球队交易,掘金究竟能收获怎样的天价交易回报?
针对这一热门疑问,美记Sam Quinn给出了出人意料的分析观点。他直言,届时约基奇的交易价值,大概率会低得超乎所有人预期。

三 | 低延迟推理对于让人工智能智能体能够快速响应、避免用户遭遇长时间等待至关重要,尤其是在编程场景中。核心原因在于,约基奇将在2027年正式成为完全自由球员,届时他将手握绝对的选择权,能够随心所欲挑选心仪下家。

四 |
无论届时是约基奇主动离队,还是掘金选择放手,所有主动权都牢牢掌握在约基奇本人手中。不过Sam Quinn也坦言,从目前情况来看,他并不相信约基奇会主动申请离队。但他同时指出,如果约基奇职业生涯还想再冲击一枚总冠军戒指,离开掘金或许是最好的选择。英伟达表示,云计算公司可以针对这类 Token 收取更高的费用。哈里斯表示:“对于那些提供 Token 服务的人来说,这让他们能够为那些真正要求对延迟高度敏感的服务协议的用户和客户,提供高级服务等级。”去年 12 月,英伟达以 200 亿美元(注:现汇率约合 1,347.74 亿元人民币)收购了芯片初创公司 Groq 的相关资产,这是该公司有史以来规模最大的一笔收购。Groq 的架构在芯片裸片本身集成了 500MB 高速 SRAM,以减少与内存相关的瓶颈。Groq 芯片由三星制造,而英伟达的 GPU 则由台积电生产。英伟达将 256 颗独立的 Groq 3 芯片封装到其 LPX 机架中。英伟达表示,根据 Artificial Analysis 的一项基准测试,其 Groq 3 LPX 机架能够达到每秒 3,400 个 Token 的处理速度。这是一个竞争激烈的领域。今年早些时候,AMD 宣布,将把其机架级系统与 Cerebras 的芯片进行整合。Cerebras 最近上市,并将低延迟推理作为重点。OpenAI 新近宣布的“Ultrafast”模式目前承诺可达到每秒 750 个 Token,并由 Cerebras 提供支持。低延迟芯片并不会取代 GPU,后者仍然是 AI 芯片领域的主力。GPU 既可以执行训练,也可以执行推理,同时具备足够的灵活性,能够适应新技术和新模型。Groq 这类低延迟芯片主要专注于模型服务过程中的一个环节,即所谓的“解码”(decode)阶段。

五 | 哈里斯表示:“这并不是要取代 GPU,而是要针对工作负载的不同部分,使用价格合适、处理能力合适的处理器。”目前,英伟达正在逐步增加 Vera Rubin 系统的出货量,该系统已于今年早些时候开始生产。在 3 月份发布 Vera Rubin 和 Groq 3 LPX 时,英伟达首席执行官黄仁勋预计,到 2027 年,当前一代 Blackwell 芯片与全新 Vera Rubin 系统的累计销售额将达到 1 万亿美元(现汇率约合 6.74 万亿元人民币)。黄仁勋当时表示,他计划将数据中心中用于编程应用的空间的四分之一分配给 Groq 芯片。黄仁勋说:“我的数据中心其余部分将全部采用 Vera Rubin。”英伟达计划于当地时间周三公布财报。

六 |
Current article:http://66h6nxc.fanfutaopoulaxiong.pics/s0lc/kps187.html
Published on:04:40:18