如何在pycharm中运行和调试torch分布式训练

这篇文章给大家介绍如何在pycharm中运行和调试torch分布式训练，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。

环境

    PyTorch 1.1.0    PyCharm 2020.1

分析Readme参数设置

python -m torch.distributed.launch --nproc_per_node=4 tools/train.py --cfg xxx.yaml

软链接distributed文件

ln -s /yourpython/lib/python3.6/site-packages/torch/distributed/ /yourprogram/

以上命令没有直接链接launch.py而是它的父目录distributed，是因为这样比较容易知道launch.py是一个软链接，不与项目中的其他文件混淆。

设置Pycharm运行参数

打开Pycharm，依次点击Run->Edit Configurations 进入参数配置界面：

只需要配置Script path为launch.py路径；Parameters为launch.py运行参数，参考命令行调用的方法，设置如下。

--nproc_per_node=4tools/train.py --cfg xxx.yaml

关于如何在pycharm中运行和调试torch分布式训练就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。