算力决定ChatGPT

算力作为大模型的核心引擎，它的计算公式很简单：有多少枚GPU芯片就能产生多大的算力，高端GPU芯片的数量，能直接影响算力的大小。

ChatGPT所需要的算力并不是固定的，反而是逐次递增。ChatGPT越聪明，背后的代价是所需算力越来越多。

据媒体推测，GPT-3训练成本预计在500万美元/次，GPT-3模型需花费训练成本约140万美元，Google的PaLM模型需花费训练成本约1120万美元。

据微软高管透露，为ChatGPT提供算力支持的AI超级计算机，是微软在2019年投资10亿美元建造的一台大型顶尖超级计算机，配备了数万个英伟达A100 GPU，还配备了60多个数据中心总共部署了几十万个英伟达GPU辅助。

为了满足与日俱增的ChatGPT算力需求，微软宣布将推出基于英伟达最新旗舰芯片H100 GPU和英伟达Quantum-2 InfiniBand网络互连技术，推出Azure可大规模扩展的AI虚拟机系列，以显著加速AI模型的开发。

看上去，ChatGPT的背后就是满篇的英伟达、英伟达和英伟达。

实际上，英伟达作为硬件霸主，不仅在消费级市场占据大部分市场，也是AI服务器芯片领域的头号选择。

物以稀为贵，目前英伟达的旗舰芯片H100，在一周时间涨价近7万元人民币，售价普遍高达30万元左右；次旗舰A100芯片在短短三个月多时间里，从6万元一路涨至9万元，涨幅超过50%。

不仅涨价买不到，甚至美国还禁止英伟达卖芯片。在去年8月，美国政府发布出口管制政策，禁止英伟达将A100、H100两款芯片售往中国。

为了不丢掉中国市场，又符合美国出口管制，英伟达随后推出“性能阉割版”A800、H800芯片。但这两款芯片同样被供不应求的市场一抢而空，价格也随之水涨船高。

以百度阿里腾讯为首，国内大部分互联网公司都已经宣布进军大模型。市场统计，从ChatGPT之后，中国年内即将推出的大模型数量已超10个。

如果想要达到ChatGPT的水准，至少需要3000枚A100芯片，以9万/枚的价格来算就是2.7亿人民币才能完成一个大模型部署；10个大模型就需要3万枚A100芯片，27亿人民币。

加上后期训练成本，所需要的芯片更是天文数字。但按照目前英伟达的交货时间来看，想要买到足够的芯片，可不是一件容易的事情。

恍惚间，矿卡时代又再次来临。

再次坐在风口的英伟达

在前些年虚拟货币火热的时候，作为挖矿必备的显卡提供商，英伟达几年时间大赚特赚了48亿美元。如今又靠着ChatGPT活出第二世，让历史再次重演。

面对市场需求激增，借AI浪潮翻身的英伟达很鸡贼的推出“算力租赁”服务。

3月21日，2023年GTC大会上，英伟达创始人兼首席执行官黄仁勋推出NVIDIA DGX Cloud™，可以为企业提供训练生成式AI高级模型所需的基础设施和软件。DGX Cloud每个实例配有8个H100或A100 80GB GPU，企业可以“云租赁”的形式按月租用DGX Cloud集群，价格为每实例3.7万美元/月起。

英伟达真的没有替代品吗？为什么企业宁愿选择租赁，也不选择其他GPU芯片商？

IDC数据显示，国内GPU服务器在2021年占国内服务器市场规模的比例超过88.4%，使用英伟达的产品占比超80%。

AI大模型所需要的芯片在处理信息的精细度和算力速度要求更高，在超算领域，双精度浮点计算能力FP64是进行高算力计算的硬性指标。而英伟达的H100、A100是目前唯一具备这些能力的芯片。

美国卡脖子的并不只有英伟达芯片的售卖，从技术、设备、材料都限制中国企业的研发。但在美国的重重限制下，中国企业仍然顶着压力跑出几匹黑马。

根据IDC最新发布的《中国加速计算市场（2021年下半年）跟踪报告》，2021年全年中国AI服务器市场规模达350.3亿元，同比增长68.6%。

在企业级GPU芯片领域，中国厂商壁仞科技在2022年推出“BR100”芯片、天数智芯推出了“智铠100”芯片、寒武纪推出了“思元270”芯片。

其中壁仞科技称，BR100拥有全球最高算力，峰值算力达到了市场在售旗舰产品的三倍以上，16位浮点算力达到1000T以上、8位定点算力达到2000T以上，单芯片峰值算力达到PFLOPS级别。

虽然数据良好，但缺少至关重要的处理FP64的能力，依然无法完全取代英伟达H100、A100俩兄弟。

并且，英伟达使用的CUDA平台早已成为应用最为广泛的AI开发生态系统，只支持英伟达的Tesla架构GPU，在现阶段根本无法用国产芯片取代。

虽然中国芯片厂商正在对GPU芯片领域奋起直追，但技术差距和美国卡脖子仍是关键性问题，还需要一段时间的努力。