英伟达 Blackwell 架构与开源协同,推动 AI 推理成本降低 10 倍
创始人
2026-02-14 09:44:24
0

来源:钛媒体

AI 行业的花钱、省钱逻辑正迎来大变化。

以往用昂贵专有模型的高成本模式正在被颠覆,低成本、高性价比的开源模型 + 专用软硬件的组合有望成为主流。

英伟达日前发布全面分析,显示其最新的 Blackwell GPU 平台与开源推理模型的组合可使每 token 成本降低 4 到 10 倍。

该数据于 2026 年 2 月 13 日发布,强调行业正从昂贵的专有模型转向由开源智能与专用硬件-软件协同设计驱动的、更具成本效益且高性能的生态系统。这些成本降低是通过多层方法实现的,涵盖 Blackwell GPU 架构、原生低精度 NVFP4 数据格式,以及包括 TensorRT-LLM 和 Dynamo 推理框架在内的优化软件库。

英伟达表示,这些技术进步使得 Baseten、DeepInfra、Fireworks AI 和 Together AI 等推理服务提供商能够以远低于以往的成本提供前沿级智能。

例如,采用 NVFP4 格式时,每百万 token 的成本从旧的 Hopper 平台上的 20 美分降至 Blackwell 上的仅 5 美分——单就硬件成本而言就下降了 75%,还未计算切换到开源模型带来的额外节省。

这一变化的现实影响已在多个高需求领域显现。

在医疗领域,AI 初创公司 Sully.ai 报告称,通过将业务从专有闭源模型迁移到由 Baseten 托管、基于 Blackwell 的开源替代方案,推理成本下降了 90%。这一 10 倍的成本降低伴随着 65% 的响应时间提升,使公司能更高效地自动化医疗编码与文档工作。

同样在游戏领域,开发商 Latitude 利用 DeepInfra 的 Blackwell 基础设施为其原生 AI 游戏 Voyage 保持低延迟响应的同时,将 token 成本降低了 4 倍。这使得在流量高峰期间也能部署更复杂的模型而不影响玩家体验。

从分析角度看,这一进展标志着许多企业 AI 应用的“专有溢价”时代的终结。

在过去两年中,闭源模型的高成本成为许多初创公司进入的障碍。然而,随着开源模型与前沿专有系统达成性能上的可比,瓶颈已从模型智能转向基础设施效率

英伟达的“极致协同设计”战略——将硬件(Blackwell)、数据格式(NVFP4)和软件(TensorRT)同步开发——正在打造一道竞争护城河,使得使用通用硬件的云服务提供商难以在每 token 成本上竞争。

这种 10 倍的成本降低对所谓的“代理式”工作流尤为关键,在此类场景中,单个用户查询可能触发数十个后台自主交互。开发开源推理系统的 Sentient Labs 报告称,在病毒式发布期间,使用基于 Blackwell 的 Fireworks AI 提供了处理单周 560 万次查询所需的吞吐量。

若无这些效率提升,多代理系统的基础设施开销对大多数开发者而言在经济上无法支撑。此外,在客户服务方面,Decagon 在语音 AI 上实现了低于 400 毫秒的响应时间,与专有模型相比,每次查询成本降低了 6 倍。这种性能水平对 24/7 的语音部署至关重要,因为延迟直接影响用户信任。

展望未来,token 成本下降的趋势预计将加速。

英伟达的路线图显示,即将推出的 Rubin 平台将目标是在 Blackwell 基础上再实现 性能与成本效率 10 倍的提升

随着 token 经济学的持续改善,我们很可能看到从“把 AI 当作一个功能”向“把 AI 作为基础设施”的转变,智能成本在运营预算中将变得微不足道。

这很可能导致高频 AI 应用的激增,例如实时视频翻译和自主工业机器人等领域,这些此前因过高的推理开销而被排除在外。(本文首发钛媒体App , 作者|AGI-Signal,编辑|秦聪慧) 

特别声明:以上内容仅代表作者本人的观点或立场,不代表Hehson财经头条的观点或立场。如因作品内容、版权或其他问题需要与Hehson财经头条联系的,请于上述内容发布后的30天内进行。

相关内容

走,打卡热气腾腾的“台味”...
(来源:华夏经纬网)转自:华夏经纬网  临近新春,岚岛升腾起浓浓的...
2026-02-14 17:38:16
阿里巴巴、抖音、百度、腾讯...
  2月13日,市场监管总局约谈阿里巴巴、抖音、百度、腾讯、京东、...
2026-02-14 17:38:12
宠物年夜饭卖断货、部分高铁...
(来源:贝壳财经)今年春节,宠物市场的热度再次燃起:上门喂养订单暴...
2026-02-14 17:38:07
昆仑芯秘密递交港交所主板上...
(来源:科创100ETF基金)  2026年年初,百度集团发布公告...
2026-02-14 17:37:58
实干争先 向“新”而行丨投...
中新网新疆新闻2月14日电(特来克·木哈买提江)水利兴则民生安,饮...
2026-02-14 17:37:47
塔城地区沙湾市发改委在申报...
中新网新疆新闻2月14日电(钱永刚)新春伊始,沙湾万特矿业有限公司...
2026-02-14 17:37:42
群核科技获赴港上市备案通知...
  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力...
2026-02-14 17:37:37
阿里巴巴、抖音、百度、腾讯...
央视新闻 2月13日,市场监管总局约谈阿里巴巴、抖音、百度、腾...
2026-02-14 17:37:32
【一带一路•观察】“印度制...
来源:亚布力中国企业家论坛印度先后与欧盟达成自贸协定,和美国达成相...
2026-02-14 17:28:18

热门资讯

走,打卡热气腾腾的“台味”小镇... (来源:华夏经纬网)转自:华夏经纬网  临近新春,岚岛升腾起浓浓的两岸年味。  2月10日,“正青春...
阿里巴巴、抖音、百度、腾讯、京...   2月13日,市场监管总局约谈阿里巴巴、抖音、百度、腾讯、京东、美团、淘宝闪购等平台企业,要求有关...
宠物年夜饭卖断货、部分高铁托运... (来源:贝壳财经)今年春节,宠物市场的热度再次燃起:上门喂养订单暴涨,宠物寄养“一窝难求”,盒马的年...
昆仑芯秘密递交港交所主板上市申... (来源:科创100ETF基金)  2026年年初,百度集团发布公告,旗下非全资附属公司昆仑芯已通过联...
实干争先 向“新”而行丨投资2... 中新网新疆新闻2月14日电(特来克·木哈买提江)水利兴则民生安,饮水畅则民心暖。近日,总金额达200...
塔城地区沙湾市发改委在申报资金... 中新网新疆新闻2月14日电(钱永刚)新春伊始,沙湾万特矿业有限公司电石炉装置技术改造升级项目喜获20...
群核科技获赴港上市备案通知书:...   炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!   继续冲刺“全球空...
阿里巴巴、抖音、百度、腾讯、京... 央视新闻 2月13日,市场监管总局约谈阿里巴巴、抖音、百度、腾讯、京东、美团、淘宝闪购等平台企业...
【一带一路•观察】“印度制造”... 来源:亚布力中国企业家论坛印度先后与欧盟达成自贸协定,和美国达成相对优惠的贸易安排,全球众多智库专家...
Backblaze报告:202...   炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会! (来源:IT之家)I...