首页 企业版 爆炸性的 AI 应用正在推动节能发展

爆炸性的 AI 应用正在推动节能发展

by 哈罗德弗里茨

随着行业继续采用 AI 并将其集成到计算基础设施中,对资源征税,能源效率也变得难以维持。 总的来说,加速计算和底层技术提供了开发下一代创新的效率,包括 NVIDIA GPU、NVIDIA AI 和下一代处理器,如新的 第 4 代英特尔至强可扩展 处理器平台引领潮流。

随着行业继续采用 AI 并将其集成到计算基础设施中,对资源征税,能源效率也变得难以维持。 总的来说,加速计算和底层技术提供了开发下一代创新的效率,包括 NVIDIA GPU、NVIDIA AI 和下一代处理器,如新的 第 4 代英特尔至强可扩展 处理器平台引领潮流。

随着第四代英特尔至强可扩展处理器的推出,NVIDIA 及其合作伙伴正在启动新一代节能 AI 加速计算系统。 当结合 NVIDIA H100 张量核心 GPU,与前几代系统相比,这些系统可提供更高的性能、更大的规模和更高的效率。

新系统提高了企业 AI 的性能和效率

由 NVIDIA 和英特尔提供支持的新系统将使企业运行工作负载的效率比仅使用 CPU 的数据中心服务器高 25 倍。 提供这种每瓦性能相当于使用更少的功率,这意味着数据中心需要更多功率来加速现代工作负载。

新一代 NVIDIA 加速服务器加快了训练和推理速度,将能源效率提高了 3.5 倍,这转化为实际节省,将 AI 数据中心的 TCO 降低了 3 倍。

第 4 代英特尔至强 CPU 支持 PCIe Gen 5

新的第 4 代英特尔至强 CPU 支持 PCIe Gen 5,使从 CPU 到 NVIDIA GPU 和网络的数据传输速率提高了一倍。 增加的 PCIe 通道在每台服务器内提供更高密度的 GPU 和高速网络。

更快的内存带宽提高了 AI 等数据密集型工作负载的性能,而每个连接高达 400 Gbps (Gbps) 的网络速度支持服务器和存储之间更快的数据传输。

来自 NVIDIA 合作伙伴的 NVIDIA DGX H100 系统和服务器提供配备 H100 PCIe GPU 的 NVIDIA DGX H100 系统和服务器捆绑了一个许可证 NVIDIA 人工智能企业,一个端到端、安全、云原生的 AI 开发和部署软件套件,为高效的企业 AI 提供了一个完整的平台。

由 NVIDIA Base Command 提供支持的 NVIDIA DGX H100 系统

NVIDIA DGX H100 系统提供了一个由 NVIDIA 基本命令 专为加速数据中心设计的操作系统。 每个系统配备八个 NVIDIA H100 GPU、10 NVIDIA ConnectX-7 网络适​​配器和双第 4 代英特尔至强可扩展处理器,以提供构建大型生成式 AI 模型、大型语言模型、推荐系统等所需的性能。

结合 NVIDIA 网络,该架构有望大规模增强高效计算,为 AI 训练和 HPC 工作负载提供比上一代高 9 倍的性能,比未加速的 X20 双路服务器高 40 到 86 倍。 有了这样的性能,过去需要 40 天训练的语言模型可以在不到两天的时间内完成。

NVIDIA DGX H100 系统是 NVIDIA DGX SuperPOD,提供高达 exaflop 的 AI 性能,这是大规模企业 AI 部署效率的飞跃。

NVIDIA 合作伙伴提升数据中心效率 

对于 AI 数据中心工作负载,NVIDIA H100 GPU 使企业能够更高效地构建和部署应用程序。

NVIDIA 合作伙伴,包括华硕、Atos、思科、戴尔科技、富士通、技嘉、惠普企业、联想、QCT 和 Supermicro,预计将很快开始提供新的 H100 GPU 和第 4 代英特尔至强可扩展 CPU 服务器产品组合。

使用 NVIDIA ConnectX-7 网络和英特尔第 4 代至强可扩展处理器连接服务器将提高效率并减少基础设施和功耗。 NVIDIA ConnectX-7 适配器​​支持 PCIe Gen 5 和 400 Gbps 的以太网或 InfiniBand 连接速度,使服务器和存储之间的网络吞吐量翻倍。

这些适配器支持高级网络、存储和安全卸载。 ConnectX-7 减少了所需的电缆和交换机端口数量,将大型 GPU 加速 HPC 和 AI 集群联网所需的电力节省了 17% 或更多,并有助于提高这些新服务器的能效。

NVIDIA AI 企业软件提供全栈 AI 解决方案

这些下一代系统针对 NVIDIA AI Enterprise Suite 进行了优化。 NVIDIA AI Enterprise 在 NVIDIA H100 上运行,可加速数据科学管道。 它简化了预测性 AI 模型的开发和部署,以自动化基本流程并从数据中快速获得洞察力。

凭借广泛的全堆栈软件库,包括参考应用程序的 AI 工作流、框架、预训练模型和基础设施优化,该软件为扩大企业 AI 的成功奠定了理想的基础。

参与 StorageReview

电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅