【转载】分布式训练和集合通信

最新推荐文章于 2025-02-02 15:08:10 发布
最新推荐文章于 2025-02-02 15:08:10 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： 深度学习入门到精通系列讲解 文章标签： 深度学习 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43838785/article/details/127578474
版权
本文介绍了分布式深度学习中的集合通信，包括Broadcast、Scatter、Reduce、All reduce、Gather等操作，并探讨了Open MPI、NCCL、Gloo等通信库的特点与性能，强调了All reduce在梯度同步中的关键作用。在GPU环境下，NCCL通常提供最佳性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

转载自 OneFlow 大佬：【深度学习】— 分布式训练常用技术简介

文章目录


分布式框架采用的常见底层支撑库，可以归类为以下三类：

  • 集合通信库：用于分布式训练时，多个计算设备之间的集合通信，常见的有 Open MPI、NCCL、Gloo等.
  • 数据加载与预处理库：分布式训练需要处理海量数据，这使得单机单卡时代不需要考虑的数据加载问题，在分布式时代很容易成为瓶颈，为此，通常需要对分布式训练中的数据即预处理做相关优化。如：现在市面上比较流行的Nvidia提供的DALI库。
  • 分布式通信调度库：虽然分布式深度学习框架的通信大都采用的是以上提及的NCCL、Open MPI一类的通信库，但是因为深度学习框架设计的历史包袱以及实现质量的参差不齐，各框架原生的通信接口的效果并不稳定，也不易上手。在实际应用中，反而是第三方的Horovod成为了各框架的“标配第三方库”。Horovod 对底层通信库（MPI、NCCL、Gloo等）进行了封装&
了解本专栏 订阅专栏 解锁全文 超级会员免费看
HCCL集合通信算法开发Hello World示例（超详细）
m0_71340392的博客
08-31 1847
介绍HCCL算法开发所涉及的概念和流程，并通过样例将前文介绍的内容串联起来。
阿里云 ACK 云原生 AI 套件中的分布式弹性训练实践
阿里云云栖号
01-18 1447
众所周知，随着时间的推移，算力成为了 AI 行业演进一个不可或缺的因素。在数据量日益庞大、模型体量不断增加的今天，企业对分布式算力和模型训练效率的需求成为了首要的任务。如何更好的、更高效率的以及更具性价比的利用算力，使用更低的成本来训练不断的迭代 AI 模型，变成了迫切需要解决的问题。
分布式训练通信NCCL之Ring-Allreduce详解
热门推荐
张小殊的博客
12-26 1万+
随着Chat GPT、文生图、多模态等模型的发展，海量的训练数据、超大规模的模型给深度学习带来了日益严峻的挑战，因此，经常需要使用多加速卡和多节点来并行化训练深度神经网络。目前，数据并行和模型并行作为两种在深度神经网络中常用的并行方式，分别针对不同的适用场景，有时也可将两种并行混合使用。数据并行是在不同设备上放置完整的模型，然后将数据划分在每个设备并行计算。
分布式训练——集合通信及其通信原语
weixin_44966641的博客
07-16 8711
集合通信（Collective Communications）是一个进程组的所有进程都参与的全局通信操作，其最为基础的操作有 发送send、接收receive、复制copy、组内进程栅障同步Barrier以及节点间进程同步(signal +wait )，这几个最基本的操作经过组合构成了一组通信模板也叫通信原语，比如：1对多的广播broadcast、多对1的收集gather、多对多的收集all-gather、1对多的发散scatter、多对1的规约reduce、多对多的规约all-reduce、组合的规约与发
分布式训练硬核技术——通讯原语
朝闻道
02-23 4207
针对分布式训练服务器的集群进行架构设计，是为了更好地解决机器学习中分布式训练中的通讯问题。目前机器学习中主要由两种分布式架构： 参数服务器架构（Parameter Server，PS） 去中心化架构（Decentralized Network） 其中，分布式训练通常在计算集群上进行，集群的每个节点分别执行一部分计算。不同节点的计算之间有数据依赖和共享，需要将数据在不同节点间传输，这就是通信。分布式的通信一般有两大类： 集合通信（Collective communication，CC）：在一组节...
【深度学习】【分布式训练】Collective通信操作及Pytorch示例
bqw的博客
03-26 1854
​ 大模型时代，单机已经无法完成先进模型的训练和推理，分布式训练和推理将会是必然的选择。各类分布式训练和推断工具都会使用到Collective通信。网络上大多数的教程仅简单介绍这些操作的原理，没有代码示例来辅助理解。本文会介绍各类Collective通信操作，并展示pytorch中如何使用。​ 将各个显卡的张量进行聚合(sum、min、max)后，再将结果写回至各个显卡。​ 将张量从某张卡广播至所有卡。​ 执行同AllReduce相同的操作，但结果仅写入具有的某个显卡。​ 每个显卡上有一个大小为N的张量，共
Hugging Face高效训练技术四：多GPU分布式训练（DP、PP、TP 、ZeRO）
qq_56591814的博客
11-02 1万+
介绍了主要的分布式训练策略：数据并行、模型并行、管道并行、张量并行和Zero
如何将深度学习训练速度提升一百倍？PAISoar 来了
阿里云云栖号
06-12 1741
阿里妹导读：得力于数据规模增长、神经网络结构的演进和计算能力的增强，深度学习的图像处理、语音识别等领域取得了飞速发展。随着训练数据规模和模型复杂度的不断增大，如何充分利用分布式集群的计算资源加快训练速度，提升业务支持能力成为用户非常关注的问题。今天，我们就来分享阿里工程师的实践成果：将深度学习模型的大规模分布式训练框架 PAISoar应用于绿网模型（多层CNN网络）后，绿网模型在128 GPU卡...
Pytorch 分布式模式介绍
sinat_22510827的博客
11-07 730
目录 一、分布式训练策略 1、模型并行 ​ 2、数据并行 二、分布式训练系统架构 1、Parameter server架构 2、Ring-allreduce架构 三、为什么需要分布式 四、Pytorch 分布式简介 1、初始化 2、init_method分析 1. TCP initialization 2. Shared file-system initialization 3. Environment variable initialization 4、Dataloader中...
基于分布式缓存加速容器化深度学习的优化方法
weixin_45585364的博客
11-17 1744
点击上方蓝字关注我们基于分布式缓存加速容器化深度学习的优化方法张凯,车漾阿里巴巴科技（北京）有限公司，北京 100102摘要：使用GPU运行容器化深度学习模型训练任务，性能往往受限于数...
Pytorch~分布式通信
whaosoft143ai的博客
06-15 1342
近些年随着深度学习的火爆，模型的参数规模也飞速增长，OpenAI数据显示：2012年以前，模型计算耗时每2年增长一倍，和摩尔定律保持一致；2012年后，模型计算耗时每3.4个月翻一倍，远超硬件发展速度；近一年来，百亿、千亿级的参数模型陆续面世，谷歌、英伟达、阿里、智源研究院更是发布了万亿参数模型。因此，大模型已经成为了未来深度学习的趋势。提到大模型，就不得不提分布式训练，由于模型参数和训练数据的不断增多，只有通过分布式训练才能完成大模型的训练任务。whaosoft aiot http://143ai.com
MPI 集体通信（collective communication）
保持写作习惯，完成知识沉淀
01-28 1495
MPI_REDUCE将组内每个进程输入缓冲区中的数据按给定的操作op进行运算，并将其结果返回到序列号为root的进程的输出缓冲区中。
MPI笔记（三）集合通信
David
04-16 3598
1. 同步 2. 数据传递 3. 规约 /* 集合通信： 集合操作的三种类型： 1. 同步，等待所有进程都就绪 2. 数据传递，广播、分散、收集、全部到全部 3. 规约，集合中的其中一个进程收集所有进程的数据并计算（类似MapReduce） 集合操作是阻塞的 只支持MPI的标准数据类型，不支持派生类型 函数： MPI_Barrier MPI_Barrier (com...
NCCL 集合通信--Collective Operations
greatcoder的博客
07-25 2302
N个设备参与的broadcast，root是函数中指定的introot（以上图为例则是2)，初始状态下，rank为root（上图中2）的设备上的sendbuffer长度为count。运行结束后，所有参与broadcast的N个设备上的recvbuffer长度为count，且所有N个rank的recvbuffer部分的数据均来自于root设备的sendbuffer的拷贝。,in_N-1，运行结束后，N个设备上的recvbuffer内容均相同，长度均为。..................
深度梯度压缩：降低分布式训练的通信带宽
机器之心
11-20 1960
ICLR 2018 将在当地时间明年 4 月 30 日～5 月 3 日在加拿大温哥华举办。目前正处于评审阶段的会议论文也正陆续公开。近日，机器之心发现了这样一篇有望极大改善分布式训练效率的研究论文。以下是我们对该论文的摘要介绍。 大规模分布式训练可以提升越来越深和越来越大的模型的训练效率（Chilimbi et al., 2014; Xing et al., 2015; Moritz
MPI——通信集合
绝尘
09-19 5528
通信集合 树形结构通信 一开始1、3、5、7号进程都将它们的值发送给0、2、4、6。然后0、2、4、6进程都将接收到的值加到它们自己原有的值，整个过程重复两次。 但是这个解决的方案不是最理想的，因为其中一半的进程的工作量与原来方案相同。原来的方案需要0号进程接收comm_sz-1=7次。而新的方案中0号进程只需要3次接收和3次加法，并且其他进程所有的接收与加法操作不超过2次。所以，如果所有进程几...
MPI学习2--------集合通信
k5722166的博客
07-05 432
集合通信
通信方式、点对点通信、集合通信
最新发布
long_steve的博客
02-02 646
1
mpi4py 中的集合通信
自可乐的博客
03-29 596
本文从本人简书博客同步过来 在上一篇中我们简要总结了 mpi4py 中的组与通信子的基本概念和用途，下面我们将进行集合通信的介绍。 集合通信的主要功能是对一组进程进行通信、同步、计算等。 集合通信根据信息的传递方向可大致分为两大类：单向的集合操作和双向的集合操作。对于具有根进程的集合操作，如 Bcast，Scatter，Gather 等，传输通过根进程的一个参数来定义为单向，此时对包含了根进...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

理想不闪火

你的鼓励将是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值