这篇文章给大家介绍如何在pycharm中运行和调试torch分布式训练,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
现在很多深度学习研究开源代码都会使用pytorch框架,原因之一就是在torch中,只要你定义好了一个module,你就可以轻易的用
torch.distributed
将其应用到单机多GPU或者多机多GPU的场景中,加速模型的收敛速度。
PyTorch 1.1.0 PyCharm 2020.1
python -m torch.distributed.launch --nproc_per_node=4 tools/train.py --cfg xxx.yaml
ln -s /yourpython/lib/python3.6/site-packages/torch/distributed/ /yourprogram/
打开Pycharm,依次点击Run->Edit Configurations 进入参数配置界面:
只需要配置Script path为launch.py路径;Parameters为launch.py运行参数,参考命令行调用的方法,设置如下。
--nproc_per_node=4tools/train.py --cfg xxx.yaml
关于如何在pycharm中运行和调试torch分布式训练就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。