教程｜在矩池云使用 Stable Diffusion web UI v1.5 模型和 ControlNet 插件

今天给大家介绍下如何在矩池云使用 Stable Diffusion web UI v1.5 模型和 Stable Diffusion ControlNet 插件。

租用机器

租用机器需要选择内存大于 8G 的机器，比如 A2000，不然 Stable Diffusion web UI 启动加载模型会失败。（Killed 内存不足）

点击租用按钮，进入镜像筛选页面，点击右侧蓝色 Stable Diffusion 进行镜像筛选，选择第一个 Stable Diffusion web UI v1.5 镜像，然后点击租用即可。

机器启动成功后，会出现以下界面:

• 7860 端口对应链接，是 Stable Diffusion web UI 服务默认启动端口，这个服务默认开机自启，大家无需手动启动了（服务启动加载模型预计要 1-2 分钟），也就是说看到这个链接后，等待 1-2 分钟，再直接点击即可打开 Stable Diffusion web UI 页面。
• SSH，一种连接服务器的方法
• JupyterLab，一种连接服务器的方法，比较常用

使用 Stable Diffusion web UI

打开页面

Stable Diffusion web UI 服务启动加载模型需要 1-2 分钟，如果直接点击 7860 端口对应链接显示无法连接不要着急，等会就好，等了很久还是不行可以按后面方法查看服务启动日志（默认存储在：/stable-diffusion-webui/run_log.log）

查看日志

在上面的页面中，点击 JupyterLab - 点击打开 文字按钮，会打开 JupyterLab 页面，我们新建一个 Terminal ，然后输入：

tail -f /stable-diffusion-webui/run_log.log

通过程序运行日志，我们能看到程序的运行状态等信息，如果程序运行出现故障，也可以在日志里找到故障原因，及时排查问题。

基本使用

在这个镜像里预装了 ControlNet 插件，并内置了两个 ControlNet 模型：control_sd15_canny（线稿模型） 和 control_sd15_seg（语义分割模型）。

如果你要使用 ControlNet，需要按以下步骤：

• 点开 ControlNet，先上传图片
• 点击 Enable 开启功能（必须勾选上）
• 选择预处理方法和模型
• 输入新生成图片描述词
• 点击 Generate 按钮开始生成图片

以使用 control_sd15_seg 语义分割模型为例子，我们上传了一长人头顶足球的图片，然后开启了 ControlNet，并选择了 segmentation 预处理方式和 control_sd15_seg 模型。

输入的描述词：(((A giraffe)))stared at a (watermelon)(((best quality))),(((highly detailed))),(((masterpiece))),(((ultra-detailed))),(((illustration)))

图片地址：https://pixabay.com/zh/photos/man-football-game-village-sport-7813108/

使用其他 ControlNet 模型

SD Web UI ControlNet 插件模型默认加载目录是:/stable-diffusion-webui/extensions/sd-webui-controlnet/models 目录下，我们只需要把自己想要用的模型移动到该目录下即可。

方便大家使用，ControlNet 模型 已经上传到了矩池云公共数据集模型路径下，具体路径是：/public/huggingface_models/ControlNet/。

比如我想要用 control_sd15_openpose.pth(人物动作模型)这个模型，只需要在 Terminal 里一行行输入下面指令即可将模型复制到对应目录下（模型文件比较大，复制预计要 1 分钟左右）：

cd /public/huggingface_models/ControlNet/models
cp control_sd15_openpose.pth /stable-diffusion-webui/extensions/sd-webui-controlnet/models

复制完成后，我们在页面 ControlNet 插件选模型的地方，点击刷新按钮，即可将新加入的模型加载进来。