红杉成本的通告曾指出，AI产业的年产值跨越6000亿好意思元，才够支付数据中心、加快GPU卡等AI基础门径用度。而面前一种精深说法以为，基础模子磨真金不怕火的成本支拨是“历史上贬值最快的钞票”，但对于GPU基础门径支拨的判定仍未出炉，GPU土豪干戈仍在进行。尤其是，以OpenAI为代表的大模子公司在磨真金不怕火+推理上的支拨跨越了收入，最近他们在有史以来最大的风险投资轮中筹集了66亿好意思元，同期瞻望2026年的亏本将达到140亿好意思元。

近期，NVIDIA的新一代Blackwell系列芯片录用给了OpenAI，他们还示意接下来一年的居品仍是售罄，NVIDIA CEO黄仁勋指出这可能是行业历史上最奏效的居品。与此同期，AMD CEO苏姿丰推出了MI325X，而提交了IPO苦求。

跟着数十亿好意思元干与到AI基础门径层，这会促进AI表层的 闹热照旧泡沫？面前，是时候深切探讨GPU市集的时候了。

本文作家Eugene Cheah深切研究了H100市集，可能为行将到来的Blackwell芯片的改日走向提供一些参考。他指出，由于预留蓄意资源的转售、通达模子的微调以及基础模子公司的减少，市集上的H100算力仍是供过于求，尤其是H100从旧年以8好意思元/小时到面前多家算力转售商以低于2好意思元/小时的价钱出租。过程深度分析后，他提议用户在需要时租用而不是购买算力。

（Eugene Cheah是AI推理就业供应商Featherless.AI的集合独创东谈主，亦然 RWKV开源基础模子阵势的集合稳健东谈主。

本文由OneFlow编译发布，转载请有筹商授权。原文：https://www.latent.space/p/gpu-bubble ）

作家 |Eugene Cheah

OneFlow编译

题图由平台生成

1

AI竞赛简史

2022年11月30日，基于A100 GPU系列磨真金不怕火的GPT3.5与 ChatGPT仿佛整夜之间眩惑了全天下对 AI 的念念象，并开启了AI竞赛。2023年3月21日，跟着惊东谈主的AI势头，H100很快就来了。

如果OpenAI不错用“旧”的A100构建智能，那么使用新推出的性能高3倍、价钱多2倍的H100，你也粗略构建一个更大、更好的模子，致使可能卓越OpenAI率先到达AGI——如果你的财力比OpenAI还浑厚。

第一个奏效罢了这一主见的AI公司，将得回新AI经济中的一大块份额——每一个分析师的顽劣蓄意齐标明，取代通用的东谈主类智能将意味着数万亿好意思元的市集。如果粗略奏效，你将比地球上一半的国度或历史上任何王国齐要裕如。怀着这么的渴慕，有100亿到1000亿好意思元的资金干与到AI公司和独创东谈主身上，以鼓舞新一轮科技立异，这导致H100的需求一霎激增。

市集价飙升，H100的运转租借价钱约为4.70好意思元/小时，但内容价钱跨越了8好意思元/小时。扫数紧急的独创东谈主纷繁涌入，急于磨真金不怕火他们的模子，以劝服投资者进行下一轮亿级好意思元的融资。

在2023年的投资者会议上，英伟达向他们的投资者和数据中心客户推介了以4好意思元/小时的价钱出租H100的“市集契机”。

对于GPU农场来说，这嗅觉像是不劳而获的钱——如果你能让这些独创东谈主以4.70好意思元/小时或更高的价钱租用你的H100 SXM GPU，致使让他们提前支付，投资答复期将少于1.5年。从那以后，每个GPU每年将带来跨越10万好意思元的现款流。

由于GPU需求似乎莫得至极，他们的投资者容许了，致使进行了更大范畴的投资……

《郁金香狂热》——描写了有记载以来历史上第一次投契泡沫，郁金香价钱在1634年抓续攀升，并于1637年2月崩盘。

2六千亿好意思元的投资之后

与数字商品不同，什物商品会受到延长发货的影响，尤其是在屡次发货延长的情况下。2023年的大部分时辰里，H100的价钱嗅觉会恒久高于4.70好意思元/小时以上（除非你适意支付一大笔预支款）。2024岁首，H100的价钱在多个供应商那边降至大要2.85好意思元/小时。

然而，跟着更多供应商的加入……我脱手收到这么的邮件：

天然我未能以4好意思元/小时的价钱得回H100节点（8个H100），但我屡次说明，你不错以8到16好意思元/小时的价钱得回。

2024年8月，如果你适意竞拍一小段时辰的H100使用时辰（几天到几周），你不错找到1-2好意思元/小时的H100。

尤其对于袖珍集群而言，咱们正濒临着每年至少40%的价钱下落。NVIDIA预测的4好意思元/小时的GPU价钱在4年内保抓不变，但不到1.5年就九霄了。

这相等可怕，因为这意味着有东谈主可能会被套牢——尤其是如果他们刚刚购买了新的GPU。那么，到底发生了什么？

3一张H100 SXM GPU的投资答复率（ROI）是若干？

这里将重心温雅经济成本和租借的ROI，对比不同的市集价钱，不包括契机成本或业务价值。

在数据中心，平均一张H100 SXM GPU的确立、爱戴和运营成本（即大部分红本支拨）为50000好意思元或更多，不包括电费和冷却的运营成本。本文背面将提供更详备的蓄意瓜代。

但对今天的单位经济和投资意味着什么？特殊是假定GPU的使用寿命为5年的情况下。

频频，H100的租借业务模式有两种，咱们将会粉饰这两种模式。

短期按需租借（按小时、周或月）

耐久租借（3-5年）

按需租借的ROI

新的H100 ROI（2024年8月）

回来来说，对于按需责任负载：

2.85好意思元/小时：跨越股市的里面收益率（IRR）

低于2.85好意思元/小时：低于股市的IRR

低于1.65好意思元/小时：预期投资亏本

对于上述ROI和收入预测，咱们引入了“搀杂价钱（blended price）”，假定租借价钱在5年内迟缓下降50%。

鉴于咱们面前看到的每年价钱下降>=40%，这不错被视为一个保守/乐不雅的预料，但这是一种通过探讨一定比例的价钱下降的同期来预测ROI的一种瓜代。

在4.50好意思元/小时的情况下，即使探讨搀杂价钱，咱们也能看到NVIDIA来源对数据中心提供商的承诺，即在2年后险些不错“印钞”，里面收益率（IRR）跨越20%。

然而，在2.85好意思元/小时的情况下，IRR刚刚跨越10%。

这意味着，如果你今天购买新的H100就业器，而且市集价低于2.85好意思元/小时，你的投资答复率险些只可拼集与市集基本答复水平抓平，而且假定使用率是100%（这是一个划分理的假定）。任何低于这个价钱的情况，算作投资者，投资H100基础门径公司不如投资股市。

如果价钱降至1.65好意思元/小时以下，算作基础门径提供商，在5年内使用H100注定会亏本，特殊是如果你本年刚刚购买了节点和集群。

耐久预订租借（3年+）

很多基础门径提供商，尤其是那些较老的公司，并不是对此一无所知——因为他们也曾躬行资历过GPU租借价钱在加密货币期间大幅高涨后的急剧跳水，他们仍是资历过这种周期。

因此，在这一周期中，旧年他们放肆鼓舞3-5年的前期承诺和/或支付，价钱在4好意思元/小时以上（频频预支50%到100%）。今天，他们鼓舞的价钱范围在2.85好意思元/小时以上，以锁定他们的利润。

这种情况在2023年AI岑岭期尤为澄澈，尤其是在图像生陈规模，很多基础模子公司被动坚强高价的3-5年公约，仅仅为了在新集群客户中排在前边，成为第一个推出主见模子的公司，以促进完成下一轮融资。

这可能不是最经济的举措，但不错让他们比竞争敌手更快地行为。

然而，这导致了一些原理的市集动态——如果你在改日3年内以3好意思元或4好意思元/小时的价钱坚强了公约，那么你将被公约绑定。当模子创建者完成模子磨真金不怕火后，他们不再需要这个集群后会怎样作念？——他们转售并脱手收回部分红本。

4

现时H100的价值链

从硬件到AI推理/微调，不错大致分为以下几个方面：

硬件供应商与Nvidia相助（一次性购买成本）

数据中心基础门径提供商及相助伙伴（出售耐久租借，包括门径空间和/或H100节点）

风险投资基金、大型公司和初创公司：谋略构建基础模子（或仍是完成模子构建）

算力转售商：如Runpod、SFCompute、Together.ai、Vast.ai、GPUlist.ai

托管AI推理/微调提供商：使用上述资源的组合

天然堆栈中的任何一层齐可能罢了垂直整合（举例跳过基础门径提供商），但关键驱起程分是“未使用算力资源的转售商”和“有余好”的通达权重模子（如Llama 3）的兴起，这些身分齐是现时H100经济压力的主要影响身分。

通达权重模子的兴起，其性能与闭源模子特等，正在导致市集发生根人道的变化。

5

市集趋势：通达权重模子的兴起

对AI推理和微调的需求加多：由于很多“通达”模子枯竭相宜的“开源”许可证，但仍然被免费分发和平时使用，致使用于交易用途。在这里，咱们将统称它们为“通达权重”或“通达”模子。

总体而言，跟着多样大小的通达权重模子的贬抑构建，对这些模子的推理和微调的需求也在增长。这主要由两个要紧事件鼓舞：

1. GPT-4级别的通达模子的出现（举例，4050亿参数的LLaMA3，DeepSeek-v2）

2. 袖珍（约80亿参数）和中型（约700亿参数）微调模子的锻练和采用

如今，对于大多数企业可能需要的用例，仍是有现成的通达权重模子。这些模子在某些基准测试中可能略逊于特有模子，但提供了以下上风：

活泼性：特定规模/任务的微调。

可靠性：不再有小的模子更新导致用例失效（面前，社区对模子权重在莫得见告的情况下在全球API端点上偷偷更动导致不能解释的后果退化枯竭信任度）。

安全性和阴私：确保他们的提醒词和客户数据的安全。

扫数这些身分齐导致了现时通达模子的抓续增长和采用，以及对推理和微调需求的增长。

但这如实带来了另一个问题……

袖珍和中型模子创建者的崩溃

基础模子创建市集萎缩（袖珍和中型）：咱们用“模子创建者”来统称从零脱手创建模子的组织。对于微调者，咱们称他们为“模子微调者”。

很多企业，以及多个袖珍和中型基础模子创建初创公司——尤其是那些以“更小、更专科规模模子”为卖点的公司——齐是莫得耐久谋略或主见从零脱手磨真金不怕火大型基础模子（>= 700亿参数）的群体。

对于这两个群体，他们齐意志到，微调现存的通达权重模子比“自行磨真金不怕火”更经济和高效。

这最终导致了对H100需求的三重打击！

1. 微调比从零脱手磨真金不怕火低廉得多

微调的蓄意需求权臣较低（频频需要4个节点或更少，频频是一个节点），而从零脱手磨真金不怕火则需要16个节点或更多（对于70亿参数及以上的模子需要更多节点）。

这一行业振荡基本上消散了多量袖珍集群的需求。

2. 减少对基础模子的投资（袖珍和中型）

2023年，文本和图像规模出现了多量袖珍和中型基础模子。

然而，如今，除非你相等有信心粗略卓越LLaMA3，或者你带来了新的东西（举例，新的架构、100倍更低的推理延长、100多种言语撑抓等），不然险些莫得新的基础模子公司从零脱手构建模子。

总体而言，大型玩家（如Facebook等）创建的袖珍和中型通达模子，使得袖珍玩家很难懂说磨真金不怕火基础模子的合感性——除非他们有开阔的互异化上风（期间或数据）——或者有谋略推广到更大的模子。

这极少在投资者中也有所反馈，因为新的基础模子创建者的资金急剧减少。大多数袖珍团队仍是转向微调。（这种情谊与最近多家公司不尽如东谈主意的退出相吻合。）

面前，据我预料，全球大要有：<20个大型模子创建团队（即700亿参数及以上模子，也可能创建袖珍模子）；<30个袖珍/中型模子创建团队（70亿到700亿参数模子）。

总体而言，全球只须不到50个团队在职何时辰点会需要16个节点的H100（或更多）来进行基础模子磨真金不怕火。

全球有跨越50个H100集群，每个集群领有跨越16个节点。

3. 预留节点的过剩算力资源正在上线

对于集群扫数者，特殊是那些在2023岁首“抢购”中进行了耐久租借的多样基础模子初创公司和风险投资公司。

由于转向微调，以及H100录用时需要相等长的恭候时辰（最岑岭时达到6个月或更长），很多团队可能在作念出改动之前仍是支付了预支款，这使得他们的预支硬件“到货即过期”。

另一方面，那些硬件按期到货，用于磨真金不怕火来源几个模子的团队，也意志到最佳鄙人一次迭代中微调模子会更好，而不是自行构建新模子。

在这两种情况下，他们齐会有未使用的算力资源，这些过剩资源通过“算力转售商”进入市集供应。

6

导致算力供应加多和磨真金不怕火需求减少的其他身分

1. 大型模子创建者离开全球云平台

另一个主要身分是，扫数主要的模子创建者，如Facebook、X.AI，以及OpenAI（如果你以为它们是微软的一部分），齐在从现存的全球云提供商转向，通过构建我方的数十亿好意思元范畴的集群，从而减少了对现存集群的依赖。

这一排变主要出于以下几个原因：

现存的约1000节点集群（建形成本跨越5000万好意思元）仍是不及以磨真金不怕火更大的模子。

在数十亿好意思元的范畴上，购买钞票（如就业器、地盘等）对钞票蓄意更故意，这些钞票有账面价值（是公司估值和钞票的一部分），而不是纯正的租借用度。

如果你莫得联系的东谈主才（他们有），你不错平直购买袖珍数据中心公司，这些公司有构建这些集群的专科常识。

跟着需求缓缓分阶段减少，这些集群正在进入全球云市集。

Vast.ai 基本上奉行的是目田市集系统，全球的供应商被动互相竞争。

2. 未使用/延长供应的算力上线

回忆一下2023年的H100大齐量发货延长，或6个月或更万古辰？这些延长的算力供应面前正在上线，同期还有H200、B200等芯片。

这还伴跟着多样未使用的算力资源上线（来自现存的初创公司、企业或风险投资公司，如前所述）。

这些资源的大部分是通过算力转售商上线的，举例：together.ai、sfcompute、runpod、vast.ai等。

在大多数情况下，集群扫数者领有的是一个袖珍或中型集群（频频为8-64个节点），这些集群的期骗率较低。而购买这些集群的资金仍是“花掉”了。

为了尽可能收回成本，他们更适意以低于市集价的神气保证资源的分派，而不是与主要提供商竞争。

这频频通过固定费率、拍卖系统或目田市集列表等神气罢了。后两种神气频频会鼓舞市集价钱下降。

3. 更低廉的 GPU 替代品（特殊是用于推理）

另一个主要身分是，一朝你离开磨真金不怕火/微调规模，特殊是如果你运行的是较小的模子，推理规模充满了替代决策。

你不需要为H100的Infiniband和/或Nvidia的高端功能支付溢价。

a) Nvidia市集细分

H100的高端磨真金不怕火性能仍是反馈在硬件价钱中。举例，Nvidia我方推选L40S，这是一个在推理方面更具价钱竞争力的替代决策。

L40S的性能是H100的1/3，价钱是H100的1/5，但不稳当多节点磨真金不怕火。这在一定进程上减弱了H100在这个细分市集的竞争力。

b) AMD和Intel的替代提供商

AMD和Intel的MX300和Gaudi 3天然进入市集较晚，但仍是过程测试和考据。咱们使用过这些系统，它们频频具有以下脾性：

价钱低于H100

内存和蓄意才调跨越H100，并在单节点上发达更优

总体上是很好的硬件

舛误？它们在磨真金不怕火时存在一些驱动问题，且在大型多节点集群磨真金不怕火中尚未得到考据。

然而，正如咱们前边所商讨的，这在现时市齐集并不热切。除了少数不到50个团队外，H100市集仍是转向推理和单节点或小集群微调。

这些GPU仍是解说在这些用例中发达细腻，能得志大多数市集的需求。

这两个竞争敌手是实足的即插即用替代决策，撑抓现成的推理代码（如VLLM）或大多数常见模子架构（主如果LLaMA3，其次是其他模子）的微调代码。

因此，如果你仍是责罚了兼容性问题，热烈提议你探讨这些决策。

c) 加密货币/Web3规模GPU使用量的下降

跟着以太坊转向权力解说（Proof of Stake, PoS），ASIC在比特币挖矿中占据主导地位，用于加密货币挖矿的GPU使用量呈下降趋势，在许厚情况下致使无利可图。这导致了多量的GPU涌入全球云市集。

天然这些GPU中的大多数由于硬件死心（如低PCIe带宽、网罗等）无法用于模子磨真金不怕火，致使不稳当用于推理，但这些硬件仍是涌入市集，并被重新用于AI推理责任负载。

在大多数情况下，如果你的模子参数少于100亿，你不错以相等低的价钱通过这些GPU得回出色性能。

如果你进一步优化（通过多样手段），致使不错在这种硬件的小集群上运行4050亿参数的大型模子，成本低于一个H100节点。

H100的价钱正在变得像大量商品雷同低廉。致使有些时候所以低于成本的价钱出租——如果是这么，接下来该怎样办？

7

可能意味着是什么？

中立不雅点：H100集群价钱的分层

从宏不雅层面来看，瞻望大型集群仍然会收取溢价（>=2.90好意思元/小时），因为对于确切需要它们的客户来说，莫得其他选拔。

咱们仍是脱手看到这种趋势，举例在Voltage Park，配备Infiniband的集群被收取更高的用度。而基于以太网的实例，对于推理任务来说仍是有余好，其价钱则定得较低。把柄不同的使用场景和可用性转机价钱。

尽管基础模子团队的数目总体上有所减少，但很难预测跟着通达权重的增长和/或替代架构的出现，是否会迎来复苏。

同期，瞻望改日咱们将看到按集群范畴进一步分层。举例，一个领有512个节点且配备Infiniband的大型集群，其每块GPU的收费可能会高于16个节点的集群。

凄怨不雅点：新的全球云H100集群进入市集较晚，可能无利可图——一些投资者可能会遇到损失。

如果你将价钱定在2.25好意思元以下，把柄你的运营成本（OPEX），你可能会濒临潜在的无利可图的风险。 如果你将价钱定得过高，比如3好意思元或以上，你可能无法眩惑有余的买家来最大化使用算力资源。 如果你进入市集较晚，可能无法在早期以4好意思元/ 小时 的价钱收回成本。

总体而言，这些集群投资对于关键利益联系者和投资者来说将相等奋发。

天然我怀疑这种情况会发生，但如果新集群在AI投资组合中占据了很大一部分，咱们可能会看到由于投资者遇到损失而对融资生态系统产生四百四病。

中立不雅点：中型到大型模子构建者，仍是通过耐久租借榨取了算力价值

不同于凄怨成见，一种中立成见是，一些未使用的算力资源的模子构建者内容上仍是支付了用度。 资金市集仍是将这些集群偏激模子磨真金不怕火的成本蓄意在内，并“榨取了其价值”，用于他们现时和下一轮融资的筹码。

其中的大多数算力购买是在算力转售商流行之前进行的，成本仍是计包含在内。如果有什么影响的话，他们是从过剩的H100算力资源中得回确现时收入，而咱们得回的是降价的算力资源，这对两边齐是故意的。

如果情况如实如斯，市集负面影响将是最小的，合座上对生态系统来说是一个净正收益。

正面不雅点：低廉的H100可能加快通达权重AI的采用波浪

鉴于通达权重模子仍是进入GPT-4级别的规模，H100价钱的下落将成为通达权重AI采用的倍增器。

对于业余青睐者、AI招引者和工程师来说，运行、微长入探索这些通达模子将变得愈加实惠。 特殊是如果莫得GPT-5++这么的要紧飞跃，这意味着通达权重模子与闭源模子之间的差距将变得邋遢。

这口舌常必要的，因为面前市集是不能抓续的。应用层枯竭为付用度户创造价值的才调（这会影响到平台、模子和基础门径层）。

在某种进程上，如果大家齐在造铲子，而莫得构建粗略眩惑付用度户的AI应用（而且莫得产生收入和价值）。 但当AI推理和微调变得比以往任何时候齐低廉时，这可能会激励AI应用的波浪——如果这一趋势还莫得放心脱手的话。

8论断：不要购买全新的H100

在新H100硬件上的支拨很可能是亏本的。除非你有以下某种组合： 扣头的H100、扣头的电力，或者有一个主权AI的需求（即你的GPU地点地对客户来说至关热切）。 或者你稀有十亿好意思元，需要一个超大型集群。

如果你在投资，提议探讨投资其他规模。或者投资股票市集指数以得回更好的答复率。

参考来源：

GPU数据：Tech Power Up数据库。A100 SXM的bf16 TFlops 为624，H100 SXM的bf16 TFlops为1979。https://www.techpowerup.com/gpu-specs/h100-sxm5-80-gb.c3900

微软和AWS在AI基础门径上干与了跨越400亿好意思元（华尔街日报，https://www.wsj.com/tech/ai/big-tech-moves-more-ai-spending-abroad-088988de）

英伟达投资者PPT，2014年10月，第14页的“数据中心”内容

https://s201.q4cdn.com/141608511/files/doc_presentations/2023/Oct/01/ndr_presentation_oct_2023_final.pdf

Semi Analysis：对H100集群的深切研究，组件的人命周期大要为5年（https://www.semianalysis.com/p/100000-h100-clusters-power-network）

新H100 ROI（2024年8月，https://docs.google.com/spreadsheets/d/1kZosZmvaecG6P4-yCPzMN7Ha3ubMcTmF9AeJNDKeo98/edit?usp=sharing）

H100 Infiniband集群（2024年8月，https://docs.google.com/spreadsheets/d/1Ft3RbeZ-w43kYSiLfYc1vxO41mK5lmJpcPC9GOYHAWc/edit?usp=sharing）