并行计算

一、概述

• 介绍

二、MPI

• MPI的几个概念

三、GPU&CUDA

1.硬件层次

单机多卡内存和GPU、GPU和GPU之间互联可通过PCIE、NVLink、NVSwitch；
多机多卡GPU之间（不同主机）、CPU与GPU之间互联可通过GPUDirect RDMA、IB/万兆以太网 + TCP/IP；

• PCIE、NVlink、NVSwitch和InfiniBand技术介绍
• 浅析GPU通信技术
• P2P，GPU连接等性能指标测试方法

2.软件（库）层次

单机多卡
NCCL；Gloo；
多机多卡
NCCL2.x；MPI；TCP/IP；Gloo；

• NCCL介绍
• NCCL安装

3.框架层次

• 模型并行和数据并行
• PS架构和Ring架构
• 底层通信方案对比（NCCL，Gloo，MPI……）

-------------------------------------------------

资源

• OpenMPI官网 | MPI Tutorial-1 | MPI Tutorial-2
• Intel MPI | MVAPICH2
• NCCL GitHub| API | 官网
• Gloo