data-parallel 开源项目推荐（16 个）

VcDevel /Vc

用于C++的SIMD向量类

cwida /ALP

ALP：自适应无损浮点压缩

PaddlePaddle /PLSC

Paddle 大型分类工具，支持 ArcFace、CosFace、PartialFC、Data Parallel + Model Parallel。模型包括ResNet、ViT、Swin、DeiT、CaiT、FaceViT、MoCo、MAE、ConvMAE、CAE。

DavidXu-JJ /PoissonRecon_GPU

GPU泊松重建的cuda实现。（基于数据并行八叉树）

920232796 /bert_seq2seq_DDP

bert_seq2seq的DDP版本，支持bert、roberta、nezha、t5、gpt2等模型，支持seq2seq、ner、关系抽取等任务，无需添加额外代码，轻松启动DDP多卡训练。

PasaLab /DGST

DGST：在Apache Spark上高效且可扩展的广义后缀树构建

wu840407 /yolov5-parallel

多GPU并行化的YOLOv5训练和推理流水线——数据并行扩展与吞吐量调优。

yoniLc /AdaCons

论文《Adaptive Consensus Gradients Aggregation for Scaled Distributed Training》的示例实现。

RapidsAtHKUST /Efficient-DPP

OpenCL 中的数据并行原语实现及其原生代码版本

anas-farooq8 /Parallel-ImageProcessing-OpenCL

OpenCL 图像处理：使用 OpenCL 这一并行计算框架探索高效的图像处理算法。将彩色图像转换为灰度图像，以用于皮肤癌检测等任务，并借助 ISIC 2020 Challenge Dataset。包含优化的并行算法和文档，便于无缝实现。

malt2 /malt2.torch

用于 malt2 的 Torch rock。

wallalex0 /data-parallel-cpp

我基于《Data Parallel C++》一书对第 9 章和第 11 章的演示。

avitai /substrax

JAX/Flax NNX 的训练、测试与 CI 基础设施：JAX 运行时设置、设备网格与 SPMD 分片、optax 优化器、Orbax 检查点存储、早停、实验日志记录、GPU 计算任务、全新解释器测试工具，以及可复用的 CI 门禁和操作。

rawahars /CS744-Distributed-Data-Parallel

这是威斯康星大学麦迪逊分校 2020 年秋季大数据系统课程（CS 744）的第二次作业。

Introduction-to-Parallel-Computing /Collective-Communication

MPI 实验项目，演示用于对向量执行分布式数值计算的集合通信原语。实现广播、分散、收集、归约和扫描操作，同时在多个进程间管理向量分段（《Introduction to Parallel Computing》，UNIWA）。

eshaan2418 /allreduce-lab

通过操作系统管道从零实现环、树和朴素全归约，以及带误差反馈的 top-k、QSGD 和符号梯度压缩：数据并行训练中的精度与字节数对比