使用多机多卡进行训练

将工程文件复制到每一台机器上

scp -r root@10.10.90.7:/root/ZhouHua/ ./

scp -r root@10.10.90.2:/root/ZhouHua ./

scp -r root@10.10.90.67:/root/ZhouHua/ ./

在每一台机器上启动训练进程

pytroch

python -m torch.distributed.launch --nproc_per_node 8 --nnodes 3 --node_rank 0 --master_addr=10.10.90.7 --master_port='29500' /root/ZhouHua/CrossformerXL/main.py

python -m torch.distributed.launch --nproc_per_node 8 --nnodes 3 --node_rank 1 --master_addr=10.10.90.7 --master_port='29500' /root/ZhouHua/CrossformerXL/main.py

python -m torch.distributed.launch --nproc_per_node 8 --nnodes 3 --node_rank 2 --master_addr=10.10.90.7 --master_port='29500' /root/ZhouHua/CrossformerXL/main.py

pytorch-lightning

MASTER_ADDR=10.10.90.7 MASTER_PORT=27500 WORLD_SIZE=3 NODE_RANK=0 LOCAL_RANK=0 python /root/ZhouHua/CrossformerXL/main.py --num_nodes 3

MASTER_ADDR=10.10.90.7 MASTER_PORT=27500 WORLD_SIZE=3 NODE_RANK=1 LOCAL_RANK=0 python /root/ZhouHua/CrossformerXL/main.py --num_nodes 3

MASTER_ADDR=10.10.90.7 MASTER_PORT=27500 WORLD_SIZE=3 NODE_RANK=2 LOCAL_RANK=0 python /root/ZhouHua/CrossformerXL/main.py --num_nodes 3

‍

frp: 内网穿透的革命性工具

在当今数字化时代，远程访问内网资源已成为许多企业和个人的刚性需求。然而，传统的网络架构往往难以满足这一需求，尤其是在安全性和便利性方面。幸运的是，一款名为 frp 的开源软件正在彻底改变这一局面。什么是 frp？ frp（Fast Reverse Proxy）是一款专注于内网穿透的高性能反向代理应用。它支持多种协议， ..

Go 1.23: 性能提升与新特性并重的里程碑版本

在软件开发领域,编程语言的演进往往牵动着全球开发者的神经。近日,Go 语言发布了 1.23 版本,这一重要更新不仅带来了显著的性能提升,还引入了多项备受期待的新特性,展现了 Go 语言持续创新的决心。性能大幅提升,编译速度翻倍 Go 1.23 最引人注目的改进之一是在编译性能方面的巨大飞跃。据 Go 开发团队透露,启 ..

小白 docker 部署思源失败，求助

阿里云上买了一个轻量应用服务器，现在 82 块一年，小白纯属尝试一下，因为手机容量是真的不够用了，受不了啦配置选的应用镜像 Docker19.03 然后就是正常远程登录服务器，docker pull b3log/siyuan 的时候超时然后查资料更改了镜像源，用的阿里云的镜像源拉取成功后就 docker run ..

T-MAC: 突破边缘设备算力瓶颈，让 LLM 飞入寻常百姓家

在人工智能浪潮席卷全球的今天，大语言模型(Large Language Models, LLMs)正在成为改变人机交互方式的关键技术。然而，这些模型动辄数十亿参数，对计算资源的需求令人望而生畏。如何将这些'庞然大物'部署到资源有限的边缘设备上，成为了学术界和产业界共同关注的焦点问题。微软研究院近日提出的 T-MAC 技 ..

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

关于