矩池云|GPU 分布式使用教程之 TensorFlow

本贴最后更新于 725 天前,其中的信息可能已经物是人非

GPU 分布式使用教程之 TensorFlow

TensorFlow 提供了 6 种策略实现分布式计算,各个策略详情请参考官方文档。本文档使用 MirroredStrategy 实现单机多卡分布式,MultiWorkerMirroredStrategy 实现多机多卡分布式计算。

选择机器

  • 单机多卡分布式:租用同个计算节点的多张卡即可。
  • 多机多卡分布式:需要先申请开通 分布式集群 功能,点击这里申请开通,在租用时,请选择带有如图所示图标的机器。没有这个图标的机器不支持加入分布式网络。

单机多卡

1)租用机器: 为实现 TensorFlow 的单机多卡分布式,首先,您需要按正常流程租用 GPU,如单节点 4 卡 A2000,选择 TensorFlow 镜像,如 TensorFlow2.8 镜像。

租用的时候 GPU 数设置成 4,即表示 4 卡,对应显存、内存等配置也会翻倍。

2)适配代码: 单机多卡分布式使用 MirroredStrategy 需对脚本进行相应修改,点击下载测试代码(将下面代码写入机器中的一个 .py 文件即可,如:tf-demo.py ):

3)运行代码: 进入运行脚本所在目录,输入命令行,如:

# 进入脚本目录
cd /mnt/test/multi-card/tf
# 解压数据集到当前目录
unzip /public/tensorflow_datasets/cats_vs_dogs/kagglecatsanddogs_3367a.zip -d ./cats_vs_dogs
# 安装缺的依赖包
pip install tensorflow_datasets
# 运行程序
python tf-demo.py 

4)查看 GPU 使用情况: 租用界面点击 详情 按钮即可查看 GPU、CPU 使用情况。从截图中可以看到 4 个显卡都有使用到。

多机多卡

多机多卡使用需要先申请开通 分布式集群 功能,点击这里申请开通

1)租用机器: 首先,您需要按正常流程租用 GPU,除了上文提到的通过图标直接选择支持分布式集群的机器外,还可以在主机市场筛选栏选择 支持分布式集群 筛选,然后选择自己需要的机器租用即可。

如两个计算节点,租用两台 A2000 4,共计 8 卡。选择相同的 TensorFlow 镜像,如 TensorFlow2.8 镜像。

注意: 单机多卡中每个节点的 GPU 卡数应该一样,才能都使用上,机器类型也最好一样。

2)创建集群: 进入 【个人中心】 — 【我的租用】 — 【分布式集群】

分布式集群需要先进行申请,申请通过后,点击【添加集群】- 【添加机器】—【确定】。

3)添加机器: 点击集群页面添加机器按钮,勾选要加入集群的机器,点击确定,即可将租用机器添加到集群。

添加机器成功后,系统会给每个节点分配集群 IP,当状态为已连接时,代表机器间可相互通信。

4)添加机器: 登录任一节点。因密钥由您掌握,故需由您按以下步骤完成节点间的 ssh 连通:

ssh-keygen -t rsa # 一路默认,生成公私钥
ssh-copy-id root@其他节点IP  #分发给其他节点,输入对应密钥。IP可在我的集群页面查看,如192.168.1.1

5)适配代码: 注意和单机多卡不同,多机多卡使用了 MultiWorkerMirroredStrategy,并配置了'TF_CONFIG'网络设置:

os.environ['TF_CONFIG'] = json.dumps({
    'cluster': {
        'worker': ["192.168.1.7:20005", "192.168.1.8:20006"]
    },
    'task': {'type': 'worker', 'index':0}
})

其中 cluster 包含了全部节点的 IP 和端口信息,所有节点此部分相同;task 包含当前节点的角色,例如节点一为 worker 0,节点二为 worker 1。

点击下载测试代码(将下面代码写入机器中的一个 .py 文件即可,如:tf-demo2.py ):

6)运行程序: 登录主节点,进入运行脚本所在目录,输入命令行,如:

# 进入脚本目录
cd /mnt/test/multi-card/tf
# 解压数据集到当前目录
unzip /public/tensorflow_datasets/cats_vs_dogs/kagglecatsanddogs_3367a.zip -d ./cats_vs_dogs
# 安装缺的依赖包
pip install tensorflow_datasets
# 运行程序
python tf-demo2.py --num_workers 2 --worker_no 0

测试代码中,--num_workers 指定节点数(总共 2 个节点),用于设定 batch_size, --worker_no 指定节点顺序(主节点故为 0 号)。

登录剩余节点,运行:

cd /mnt/test/multi-card/tf
python tf-demo2.py --num_workers 2 --worker_no 1

其中,--worker_no 指定节点顺序(第二个节点故为 1 号),如有更多节点,需做相应修改,其他参数不用修改。运行后,系统会自动连接并运行训练任务。

7)查看 GPU 使用情况: 租用界面点击 详情 按钮即可查看 GPU、CPU 使用情况。

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
matpool
矩池云国内领先的GPU云共享平台,提供高性能的GPU租赁服务,助力人工智能、影视渲染行业。 杭州