核显 DirectML 深度学习环境

本贴最后更新于 568 天前,其中的信息可能已经沧海桑田

参考文档:

  tensorflow-directml 官方文档

  Enable TensorFlow with DirectML in WSL

  ‍

  环境: win10 + wsl2-ubuntu20.04

  安装显卡驱动(确保型号匹配,我是 amd 的 r5 核显):

  1. py36 环境安装

    截至 2022 年 10 月 5 日, tensorflow-directml==1.15.8 最高支持 py37,但是其依赖 gast 0.2.2 并不支持 pep517 的方式安装,推荐用 py36 版本。
    若已有 py3.6 或者用 conda 安装可以跳过这一步。

    cd $HOME
    curl -Lo https://www.python.org/ftp/python/3.6.14/Python-3.6.14.tar.xz
    tar xJvf Python-3.6.14.tar.xz 
    cd Python-3.6.14
    install -dv $HOME/.local/lib/python3.6
    ./configure --prefix=$HOME/.local/lib/python3.6
    make && make install
    
    # 添加环境变量
    install -dv $HOME/.local/bin/
    ln -s $HOME/.local/lib/python3.6/bin/python3.6 $HOME/.local/bin/python36
    # 检测是否成功
    python36 -V
    # Python 3.6.14
    
    # 安装成功后移除安装包
    rm -rf Python-3.6.14/ Python-3.6.14.tar.xz
    
  2. pdm 配置

    仍推荐直接用 conda,用 pdm 多半是为了节省硬盘。pdm 安装和使用可以参考 pdm 简易使用说明pdm 官方手册

    自行添加需要的依赖。注意,因为使用 py3.6,所以 py 模块的编译使用的是 flit_core, 而非 pdm 默认的 pdm.pep517.api

    install -dv PDM-Project/tensorflow-gpu
    cd PDM-Project/tensorflow-gpu
    # 生成PDM配置文件
    cat <<'EOF' | tee pyproject.toml
    [project]
    name = ""
    version = ""
    description = ""
    authors = [
        {name = "your_name", email = "your_email"},
    ]
    dependencies = [
        "tensorflow-directml==1.15.8",
        "matplotlib==3.3.4",
        "jupyter==1.0.0",
        "scipy==1.5.4",
    ]
    license = {text = "MIT"}
    requires-python = ">=3.6.2"
    
    [tool.pdm]
    
    [tool.pdm.dev-dependencies]
    lint = [
        "flake8",
        "black"
    ]
    
    [[tool.pdm.source]]
    url = "https://mirrors.aliyun.com/pypi/simple/"
    verify_ssl = true
    name = "pypi"
    
    [build-system]
    requires = ["flit_core >=3.2,<4"]
    build-backend = "flit_core.buildapi"
    'EOF'
    

    然后选择 py 版本,并下载依赖包。

    # 选择对应的python36版本
    ➜ pdm use
    Please enter the Python interpreter to use
    0. /home/bingo/.local/pipx/venvs/pdm/bin/python (3.8)
    1. /usr/bin/python3.8 (3.8)
    2. /home/bingo/.local/bin/python37 (3.7)
    3. /home/bingo/.local/bin/python36 (3.6)
    Please select (0): 3
    Using Python interpreter: /home/bingo/.local/bin/python36 (3.6)
    # 下载依赖
    ➜ pdm update --save-compatible
    
  3. 结合 vscode python 工作区使用

    vscode python 插件从 2022.10.0 开始不再支持 py36debug,要回滚至 v2022.8.1

    1. 创建 python 工作区,添加 python 相关开发的插件。vscode 配置、调试 python 的已经有很多教程了,自行百度。

    2. 将 PDM-Project 添加至工作区,方便后面复制 Path

    3. 将需要写的项目添加至工作区

    4. 在项目 .vscode 目录下添加 settings.json 文件(第一步的配置应该在工作区,这一步的配置只对项目生效),添加 pylance 的 extra 路径配置。(如果不配置,pylance 插件会提示缺少模块文件,以及没有对应的代码补全)

      // settings.json
      // 根据自己的PDM-Project/tensorflow-gpu库和py36路径调整
      {
          "python.autoComplete.extraPaths": [
              "your_path/PDM-Project/tensorflow-gpu/__pypackages__/3.6/lib"
          ],
          "python.analysis.extraPaths": [
              "your_path/PDM-Project/tensorflow-gpu/__pypackages__/3.6/lib"
          ],
          "python.analysis.autoSearchPaths": true,
          "python.defaultInterpreterPath": "your_py36Path",
          "python.envFile": "${workspaceFolder}/.env",
      }
      
    5. 在项目 .vscode 目录下添加 .env 文件,这样子 launchF5 的时候可以关联 python.analysis.extraPaths 声明的目录到 PYTHONPATH 变量。根据实际路径调整

      PYTHONPATH=your_path/PDM-Project/tensorflow-gpu/__pypackages__/3.6/lib
      

      不推荐在 .vsocode/launch.json 中添加 env,因为对 vscode-jupyter 不生效。

    6. 测试是否使用显卡(请务必用 vscode 的 luanch 运行,不然是无法链接到 python.analysis.extraPaths

      import tensorflow as tf
      
      tf.test.is_gpu_available()
      print(tf.test.is_gpu_available(cuda_only=False))
      
      # output
      DirectML device enumeration: found 1 compatible adapters.
      DirectML: creating device on adapter 0 (AMD Radeon(TM) Graphics
      True
      

  性能就不测试了,只能说比用 cpu 快那么一丢丢。

  ‍

注意事项

  1. 安装 amd 显卡驱动后,待机时 cpu 负载异常

    86c37d7d3fa5747ff790abd5db0644b.jpg
    在 WMI 错误事件中锁定 pid 号

    2491dfcd6d6c7e6feeddb3730aef2f2.jpg

    5cd3cec5e597f70217fbd5ff01228d5.jpg这是因为勾选了 amd 的匿名信息收集(AMD User Experience Program),在 amd 的驱动程序中关闭收集就好了。

  ‍

为什么使用 pdm?

  1. 节约空间,因为经常要从网上下载库,总会需要添加环境。如果是用 conda 的环境管理,每创建一个虚拟环境就会多拷贝一份 python 二进制文件、标准库。以及在多数项目中存在相同依赖包,在虚拟环境中,都是存在冗余的。

    pdm 并不创建虚拟环境(除了 pdm 运行本身会创建虚拟环境),并且模块库是通过 PEP582 本地链接的方式,可以极大节省硬盘空间(需要开启配置 install.cache = True install.cache_method = symlink)。(主要是我的 wsl2 装在固态硬盘上,能省则省)

    # 可以看到下载的模块文件基本都是软连接
    ➜ ls -al your_path/PDM-Project/tensorflow-gpu/__pypackages__/3.6/lib
    
    # 使用pdm后,依赖包的总空间占用大小
    ➜ du -sh ~/codeEnv/pyCache/packages/
    1.4G    /home/bingo/codeEnv/pyCache/packages/
    
  2. 有没有好方法复用当前配置好的项目开发环境?

    pdm2.0 推出了虚拟环境(本质上还是基于 virtualenv/venv/conda),我并不是很推荐这个。如果没有更改依赖的话,推荐将配置好的 .vscode 目录和 .env 目录拷贝到 PDM-Project 对应的项目目录下。后续要复用直接将这两个 copy 到新的项目目录下即可。

  image.png

  ‍

  • Python

    Python 是一种面向对象、直译式电脑编程语言,具有近二十年的发展历史,成熟且稳定。它包含了一组完善而且容易理解的标准库,能够轻松完成很多常见的任务。它的语法简捷和清晰,尽量使用无异义的英语单词,与其它大多数程序设计语言使用大括号不一样,它使用缩进来定义语句块。

    536 引用 • 672 回帖
  • DirectML
    1 引用
  • 深度学习

    深度学习(Deep Learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    40 引用 • 40 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • CloudFoundry

    Cloud Foundry 是 VMware 推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。

    5 引用 • 18 回帖 • 152 关注
  • 音乐

    你听到信仰的声音了么?

    59 引用 • 509 回帖
  • Google

    Google(Google Inc.,NASDAQ:GOOG)是一家美国上市公司(公有股份公司),于 1998 年 9 月 7 日以私有股份公司的形式创立,设计并管理一个互联网搜索引擎。Google 公司的总部称作“Googleplex”,它位于加利福尼亚山景城。Google 目前被公认为是全球规模最大的搜索引擎,它提供了简单易用的免费服务。不作恶(Don't be evil)是谷歌公司的一项非正式的公司口号。

    49 引用 • 192 回帖
  • H2

    H2 是一个开源的嵌入式数据库引擎,采用 Java 语言编写,不受平台的限制,同时 H2 提供了一个十分方便的 web 控制台用于操作和管理数据库内容。H2 还提供兼容模式,可以兼容一些主流的数据库,因此采用 H2 作为开发期的数据库非常方便。

    11 引用 • 54 回帖 • 642 关注
  • 设计模式

    设计模式(Design pattern)代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。

    198 引用 • 120 回帖 • 1 关注
  • 钉钉

    钉钉,专为中国企业打造的免费沟通协同多端平台, 阿里巴巴出品。

    15 引用 • 67 回帖 • 369 关注
  • 域名

    域名(Domain Name),简称域名、网域,是由一串用点分隔的名字组成的 Internet 上某一台计算机或计算机组的名称,用于在数据传输时标识计算机的电子方位(有时也指地理位置)。

    43 引用 • 208 回帖 • 1 关注
  • V2Ray
    1 引用 • 15 回帖 • 1 关注
  • jsoup

    jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API,可通过 DOM,CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

    6 引用 • 1 回帖 • 462 关注
  • Vditor

    Vditor 是一款浏览器端的 Markdown 编辑器,支持所见即所得、即时渲染(类似 Typora)和分屏预览模式。它使用 TypeScript 实现,支持原生 JavaScript、Vue、React 和 Angular。

    313 引用 • 1666 回帖
  • 持续集成

    持续集成(Continuous Integration)是一种软件开发实践,即团队开发成员经常集成他们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误。

    14 引用 • 7 回帖 • 1 关注
  • 负能量

    上帝为你关上了一扇门,然后就去睡觉了....努力不一定能成功,但不努力一定很轻松 (° ー °〃)

    85 引用 • 1201 回帖 • 449 关注
  • 新人

    让我们欢迎这对新人。哦,不好意思说错了,让我们欢迎这位新人!
    新手上路,请谨慎驾驶!

    51 引用 • 226 回帖
  • 小薇

    小薇是一个用 Java 写的 QQ 聊天机器人 Web 服务,可以用于社群互动。

    由于 Smart QQ 从 2019 年 1 月 1 日起停止服务,所以该项目也已经停止维护了!

    34 引用 • 467 回帖 • 693 关注
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及实时分析。

    2 引用 • 56 关注
  • OpenStack

    OpenStack 是一个云操作系统,通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成,同样也可以通过 Web 接口让最终用户部署资源。

    10 引用 • 6 关注
  • 服务

    提供一个服务绝不仅仅是简单的把硬件和软件累加在一起,它包括了服务的可靠性、服务的标准化、以及对服务的监控、维护、技术支持等。

    41 引用 • 24 回帖 • 5 关注
  • 国际化

    i18n(其来源是英文单词 internationalization 的首末字符 i 和 n,18 为中间的字符数)是“国际化”的简称。对程序来说,国际化是指在不修改代码的情况下,能根据不同语言及地区显示相应的界面。

    7 引用 • 26 回帖
  • 反馈

    Communication channel for makers and users.

    123 引用 • 906 回帖 • 192 关注
  • 京东

    京东是中国最大的自营式电商企业,2015 年第一季度在中国自营式 B2C 电商市场的占有率为 56.3%。2014 年 5 月,京东在美国纳斯达克证券交易所正式挂牌上市(股票代码:JD),是中国第一个成功赴美上市的大型综合型电商平台,与腾讯、百度等中国互联网巨头共同跻身全球前十大互联网公司排行榜。

    14 引用 • 102 回帖 • 404 关注
  • 人工智能

    人工智能(Artificial Intelligence)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

    75 引用 • 145 回帖
  • OAuth

    OAuth 协议为用户资源的授权提供了一个安全的、开放而又简易的标准。与以往的授权方式不同之处是 oAuth 的授权不会使第三方触及到用户的帐号信息(如用户名与密码),即第三方无需使用用户的用户名与密码就可以申请获得该用户资源的授权,因此 oAuth 是安全的。oAuth 是 Open Authorization 的简写。

    36 引用 • 103 回帖 • 10 关注
  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成,还支持通过插件进行扩展。

    10 引用 • 5 回帖
  • Sphinx

    Sphinx 是一个基于 SQL 的全文检索引擎,可以结合 MySQL、PostgreSQL 做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索。

    1 引用 • 180 关注
  • 链滴

    链滴是一个记录生活的地方。

    记录生活,连接点滴

    131 引用 • 3639 回帖
  • VirtualBox

    VirtualBox 是一款开源虚拟机软件,最早由德国 Innotek 公司开发,由 Sun Microsystems 公司出品的软件,使用 Qt 编写,在 Sun 被 Oracle 收购后正式更名成 Oracle VM VirtualBox。

    10 引用 • 2 回帖 • 6 关注
  • MyBatis

    MyBatis 本是 Apache 软件基金会 的一个开源项目 iBatis,2010 年这个项目由 Apache 软件基金会迁移到了 google code,并且改名为 MyBatis ,2013 年 11 月再次迁移到了 GitHub。

    170 引用 • 414 回帖 • 429 关注