PyTorch Geometric (PyG) 是建立在 PyTorch 之上的一个库，专注于提供几何深度学习领域的工具、模型和示例。关于 PyTorch PyG 是否支持分布式训练的问题，实际上应该关注的是 PyTorch 本身是否支持分布式训练，因为 PyTorch PyG 是基于 PyTorch 构建的。
torch.nn.parallel.DistributedDataParallel，它支持在多个 GPU 上并行训练模型，适用于单机多卡和多机多卡场景。torch.distributed.init_process_group 初始化分布式训练环境。DistributedDataParallel 中。DistributedDataParallel 包装的模型进行训练，就像在单机上训练一样，但 PyTorch 会自动处理分布式训练的细节。PyTorch PyG 本身并不直接支持分布式训练，但可以通过 PyTorch 提供的 DistributedDataParallel 来实现分布式训练。这意味着，如果你在 PyTorch PyG 中定义了模型，你可以使用 PyTorch 的 DDP 来实现分布式训练。
