2020 2 8

自2024年12月DeepSeek发布对标GPT-4o的v3版本以来，其数学与代码推理能力已实现显著超越；而2025年1月推出的r1版本更是在多项基准测试中与GPT-4o的o1版本平分秋色。春节期间，这款国产大模型在技术社区持续刷屏，其爆火背后隐藏着三大核心优势：性能碾压级表现在数学、代码等复杂推理场景中，DeepSeek-v3已实现对GPT-4o的全面超越，而r1版本则与GPT-4o的最新迭代o1形成技术拉锯战。颠覆性成本控制。

在人工智能领域，大型模型因其强大的预测能力和泛化性能而备受瞩目。然而，随着模型规模的不断扩大，计算资源和训练时间成为制约其发展的重大挑战。特别是在英伟达禁令之后，中国AI计算行业面临前所未有的困境。为了解决这个问题，英伟达将针对中国市场推出新的AI芯片，以应对美国出口限制。本文将探讨如何在多个GPU上训练大型模型，并分析英伟达禁令对中国AI计算行业的影响。

H20算力秘密: GPU算力评估

然而，H20的性能在多个方面受到限制，包括仅提供FP64精度1 TFLOPS（相比H100的34 TFLOPS）和FP16/BF16精度148 TFLOPS（相比H100的1,979 TFLOPS），这导致在带宽和计算速度等关键指标上存在限制，整体算力理论上比H100降低约80%。其中，H20是性能最为强大的型号。英伟达的特供版AI芯片虽然在性能上有所缩水，但是仍然有一定的优势，尤其是在模型训练和软件生态方面，因此，英伟达的特供版AI芯片并不是没有市场需求，只是需求量可能没有原版的芯片那么大。

综上所述，英伟达H20是一款功能强大、性能卓越的AI加速器，能够满足不同行业和领域对高性能计算和人工智能的需求。随着技术的不断进步和市场需求的持续增长，H20有望在未来继续发挥重要作用。图片来源：网络。

相较于PCIe接口，具备提供更高的带宽和更低的延迟，更好的稳定性和可靠性，常用于高性能计算和数据中心。在显卡配置中，PCIe一般指PCIe接口，是服务器实现IO扩展的关键，PCIe接口除了用于插PCIe的GPU卡外，也可以广泛用于Raid卡、网卡、HBA卡等。常见的显存类型，具有较高的带宽和较低的延迟，适用于大多数显卡，如NVIDIA的GeForce系列和AMD的Radeon系列显卡。NvLink和SXM其实说的都是一个东西，NvLink是从互联的角度说的， SXM是从板子上面接口的角度说的。

最近，我有幸在工作中接触到了DeepSeek R1 671B模型，这是目前中文开源领域参数量最大的高质量模型之一。DeepSeek团队在2024年推出的这款模型，以其惊人的6710亿参数量和出色的推理性能，引起了业界广泛关注。作为一名AI基础设施工程师，我有机会在H20服务器上部署这个庞然大物，并对其进行了全面的压力测试。这篇文章将详细记录我的部署过程和性能测试方法，希望能为大家提供一些参考。💡为什么选择DeepSeek R1？超大规模参数量（671B）优秀的中英文理解能力开源可商用的许可证。

想要Deepseek私有化部署吗？无论是训练大型AI模型，还是进行高性能计算（HPC），还是Deepseek私有化部署，都需要强大的GPU支持。而英伟达（NVIDIA）作为全球领先的AI芯片制造商，推出了一系列高性能GPU，包括等，广泛应用于AI训练、推理、科学计算等领域。如果想搭建一个属于自己的算力中心，该如何选择合适的GPU？本文将带你详细了解这些GPU的特性，并指导你如何搭建算力中心。一、英伟达算力GPU系列解析1. A100：数据中心AI计算的奠基石：Ampere：6912：432。

Ampere 架构的 GPU 采用了多个流多处理器（SM）和更大的总线宽度，提供了更多的 CUDA Core 和更高的频率。Ampere 架构的 GPU 还具有更高的内存容量和带宽，适用于大规模的数据处理和机器学习任务。它们还将支持PCIe 5.0，成为首批实现这一转变的消费级GPU，不过我们还需观察这一支持是否覆盖所有Blackwell GPU，还是仅适用于RTX 5090。这些GPU主要面向中国客户，如阿里云、腾讯云、百度云等云计算厂商，性能稍逊于A100和H100，但仍然具备极高的计算能力。

NVIDIA H20 是一款专为中国市场设计的高性能 GPU，基于 Hopper 架构，拥有 96GB 显存和高显存带宽。本文从架构、性能、应用场景等角度全面解析 H20，并探讨其在 AI 推理和训练中的价值。H20 在显存容量和带宽上优于前代产品 A800，支持 FP8 精度加速推理，适合大模型部署和中小规模训练，但在单卡算力上受限，不适合超大规模训练。与 H800 和 A800 相比，H20 在大模型推理和多卡集群环境中表现更优。总体而言，H20 是一款性价比高、适合特定场景的 GPU 选择。

H20是高缓存、高带宽，但算力性能差，大约是华为昇腾910算力的一半，但缓存与带宽比910B高，其中带宽是华为昇腾 910B 的两倍，也即H20在互连速度方面更有优势，互连速度决定了芯片之间数据传输的速度。经销商销售的H20服务器预配置8颗 AI 芯片，售价 140 万元。，中国电信在 10 月份采购了价值约 3.9 亿美元的由华为芯片驱动的AI服务器，而中国联通在2022年也花费了至少2000万美元。先说下对英伟达利好的消息，由于这两年AI大模型的火爆，英伟达的GPU一直都是卖断货的状态，据分析师估计。

E4M3 支持动态范围更小、精度更高的计算，而 E5M2 可提供更宽广的动态范围和更低的精度。与 A100 相比，H100 中新的第四代 Tensor Core 架构可使每时钟每个 SM 的原始密集计算和[稀疏矩阵]运算吞吐量提升一倍，考虑到 H100 比 A100 拥有更高的 GPU 加速频率，其甚至会达到更高的吞吐量。而受到影响较大的还是 NVlink 上的削减，但是因为架构上的升级，虽然比不上同为 Hopper 架构的 H100，但是比 ampere 架构的 A800 还是要强上不少的。

英伟达推出的DELTA：8GPU HGX 详细介绍

随着人工智能技术的迅速发展，许多企业在推理任务上面临越来越大的计算需求。在单台一体机无法满足高并发、大规模推理要求的情况下，DeepSeek 推理解决方案通过多台推理一体机组网协同工作，为企业提供灵活、高效、可扩展的解决方案。通过将多台DeepSeek H20一体机组合成推理集群，企业可以充分利用计算资源，实现高效的推理任务处理，提升业务决策的精准性和响应速度。下面以2台H20为例来说一说具体组网方案。NVIDIA H20 是一款高性能的GPU，专为大规模人工智能推理任务和高吞吐量计算而设计。

因此，一些 GPU 厂商（不是只有 NVIDIA 一家这么做）将将多个 DDR 芯片堆叠之后与 GPU 芯片封装到一起 （后文讲到 H100 时有图），这样每片 GPU 和它自己的显存交互时，就不用再去 PCIe 交换芯片绕一圈，速度最高可以提升一个量级。传统上，GPU 显存和普通内存（DDR）一样插在主板上，通过 PCIe 连接到处理器（CPU、GPU）， 因此速度瓶颈在 PCIe，Gen4 是 64GB/s，Gen5 是 128GB/s。组网经济点的话用 RoCE，追求最好的性能用 IB。

B200和B100都是基于英伟达最新一代Blackwell架构的数据中心GPU，英伟达目前的市场策略是以B200为主，从整体参数上，两者除了显存的规格一致，其他的不同精度的算力、功率有所不同，具体可以见下图，供参考，可以看到B100的TDP是700W，有传言说是为了兼容现有H100的服务器平台（机头）做的设计，但是从综合性能上B200更优，比如FP16算力是H100的2倍以上，同时TDP也提升到了单卡1000W，所以B200的服务器平台需重新设计，与H100的不兼容了。2、认识HGX和DGX。