安装Stable Diffusion webui
效果图:
1.准备工作
在下载
AI
绘画工具前,电脑上需要提前下载一些运行的环境
1.下载python、git
首先本地机器最好是英伟达的 N 卡,并且至少需要
4GB
显存才能在本地运行,当然,A 卡也是可以玩起来的,因为绘画对显卡是有着很高的要求的。不然的话,即使安装成功,得到的图片结果可能也是全黑图或者是根本无法进行绘制
安装的时候,需要打开魔法上网,不然无法下载绘画所需要的一些依赖
另外本地需要有
python
环境,官方要求下载
Python 3.10.6
版本
其中
python
的下载地址:
https://www.python.org/downloads/
另外还需要安装
Git
,下载地址:
https://git-scm.com/downloads/
python
安装完成后,我们运行以下命令,将
pip
升级到最新
python -m pip install --upgrade pip
2.下载Stable Diffusion webui
第一种使用
Git
命令:
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
第二种直接下载压缩包文件,如下图所示:
3.运行启动
下载到本地后,如果你是
windows
系统,直接双击文件夹中的
webui-user.bat
如果你是
MACOS
或者
Linux
系统,请运行命令
./webui.sh
第一次启动会下载各种依赖,时间比较久,而且最新版加入了一个近
4GB
的默认模型
v1-5-pruned-emaonly.safetensors
也是要下载的,所以耐心等就可以了。
如果想要加快下载速度的话,可以提前下载好这个模型,然后放到
models/Stable-diffusion
文件夹中即可,然后再启动
webui-user.bat
,这样就不会再重新下载这个模型了
模型默认官方下载地址:
https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main
如果觉得官方默认下载缓慢,评论区我也贴上了百度云默认模型的下载地址,请自行选择
如果安装过程顺利,直接在浏览器打开
http://127.0.0.1:7860
访问成功即是安装成功,打开的页面大概如下
2.下载插件,汉化
汉化安装
方式1:从可用安装
点击软件界面的
Extensions
按钮,再点击
Available
可用扩展按钮,最后点击
Load from
按钮,它就能从后面的索引链接中,检索出所有可用的扩展,供自己下载了
当扩展列表列表加载出来后,我们搜索
Bilingual Localization
语言本地化插件,点击后面的
install
下载即可
方式2:从网站安装
先点击
Extensions
,然后点击下面的第三个按钮
Install from URL
需要自己手动填写汉化的链接地址进行安装,这里我们可以选择
github
的链接也可以去国内
gitee
上面的链接
汉化插件的开源仓库是
sd-webui-bilingual-localization
或者
stable-diffusion-webui-chinese
,搜索一下,然后把链接贴进去,点击
Install
即可
https://github.com/VinsonLaro/stable-diffusion-webui-chinese.git
方式3:从网站安装
-
我们直接找到
stable-diffusion-webui/extensions
扩展目录,然后打开命令行窗口在该目录下运行以下命令即可
git clone 仓库地址
启用汉化
方法一:点击
Setting
按钮,再点击左侧的
Bilingual Localization
栏,在
Localization file
下拉框中选择语言即可
方法二:点击
Setting
按钮,再点击左侧的
User interface
栏,拉到最下面就可以看到插件
Localizationg
的开启窗口了
在选择好后,我们需要点击
Apply setting
保存一下配置,再点击
Reload UI
重新加载界面即可愉快的玩耍了
双语汉化
-
双语汉化仓库链接:
https://github.com/journey-ad/sd-webui-bilingual-localization.git
-
上面的简单汉化,只是界面全转成中文,如果你想既显示中文又显示英文的话,需要使用双语插件
-
也是通过上面的三种方式任意一种下载好汉化插件后,需要启用它才可以看到效果
-
此时我们需要将
Setting
中左侧的
User interface
栏下面的
Localizationg
的设置成
None
,然后再在
Bilingual Localization
栏
Localization file
下拉框中选择语言,重启
UI
即可
使用篇
效果图:
界面参数
在使用
Stable Diffusion
开源
AI
绘画之前,需要了解一下绘画的界面和一些参数的意义
目前 AI 绘画对中文提示词的效果不好,尽量使用英文提示词
最主要一些参数如下:
Prompt:
正向提示词,也就是
tag
,提示词越多,
AI
绘图结果会更加精准
Negative prompt:
反向提示词,也就是反向
tag
Width / Height
:要生成的图片尺寸。尺寸越大,越耗性能,耗时越久。
CFG scale:
AI
对描述参数
Prompt
的倾向程度。值越小生成的图片越偏离你的描述,但越符合逻辑;值越大则生成的图片越符合你的描述,但可能不符合逻辑。
Sampling method:
采样方法。有很多种,但只是采样算法上有差别,没有好坏之分,选用适合的即可。
Sampling steps:
采样步长。太小的话采样的随机性会很高,太大的话采样的效率会很低,拒绝概率高
Seed:
随机数种子。生成每张图片时的随机种子,这个种子是用来作为确定扩散初始状态的基础。不懂的话,用随机的即可
Restore faces:
面部修复,优化面部的,原理是调用一个神经网络模型对面部进行修复,影响面部。修复画面中人物的面部,但是非写实风格的人物开启面部修复可能导致面部崩坏
Tiling:
无缝贴图,是一种老牌优化技术,即
CUDA
的矩阵乘法优化,影响出图速度和降低显存消耗,不过实际选上之后可能连正常的图都不出来了。打死不开
Highres.fix:
高分辨率修复,默认情况下,文生图在高分辨率下会生成非常混沌的图像。如果使用高清修复,会型首先按照指定的尺寸生成一张图片,然后通过放大算法将图片分辨率扩大,以实现高清大图效果
采样器
Euler a:
是个插画,
tag
利用率仅次于
DPM2
和
DPM2 a
,环境光效菜,构图有时奇葩
Euler:
柔和,也适合插画,环境细节与渲染好,背景模糊较深
Heun:
单次出土平均质量比
Euler
和
Euler a
高,但速度最慢,高
step
表现好
DDIM:
适合宽画,速度偏低,高
step
表现较好,负面
tag
不够时发挥随意,环境光线与水汽效果好,写实不佳
DPM2:
该采样方式对
tag
的利用率最高,几乎占用
80%
以上
DPM2 a:
几乎与
DPM2
相同,只是在人物的时候可能有特写
PLMS:
单次出图质量仅次于
Heun
LMS:
质感
OA
,饱和度与对比度偏低,更倾向于动画风格
LMS Karras:
会大改成优化的风格,写实不佳
DPM fast:
此为上界开发者所遗留的测试工具,不适合魔术师使用
文生图(txt2img)
文生图(text2img):
根据提示词
Prompt
的描述生成相应的图片
选择
绘画模型(Stable Diffusion checkpoint)
►
文生图(txt2img)
►
填写正向提示词(Prompt)
►
填写反向提示词(Negative prompt)
►
选择采样器(一般选择DPM++ 2M Karras)
►
设置采样步骤(一般设置30)
►
设置长宽(Width / Height,推荐 1024 * 1536)
►
点击生成(Generate)
根据上面的步骤,即可通过文字生成图片了,一般我们只要编写
Prompt
即可,
Negative prompt
一般都是固定的,限制一下水印,低质量以及其他可能出现的逻辑错误即可
图生图(img2img)
图生图(img2img):
将一张图片根据提示词
Prompt
描述的特点生成另一张新的图片
选择
绘画模型(Stable Diffusion checkpoint)
►
图生图(img2img)
►
填写正向提示词(Prompt)
►
填写反向提示词(Negative prompt)
►
选择采样器(一般选择DPM++ 2M Karras)
►
设置采样步骤(一般设置30)
►
设置长宽(Width / Height,推荐 1024 * 1536)
►
点击生成(Generate)
将上传一张图片到图生图中,进行测试一下,这里使用的是刚刚文生图的照片,根据上面的步骤,点击生成,看看效果
可以看出:
AI
图生图,其实就是根据你上传的图片和你的
Prompt
生成一张跟上传差不多的照片
标签权重
在输入
Prompt
标签的时候,有时候想到啥就会写啥,默认写在前面的权重会最高
在
stable Diffusion
中也可以通过特定符号提升关键词的权重
其中
()
是加强权重,
[]
是降低权重,
{}
是
NAI
对
()
的“实现”,
<>
用于嵌入
例如:
(eye) > [eye]
,
(eye:1.4)
会比正常情况多增加约
40%
,
(eye:0.6)
会减少约
40 %
模型下载
模型网站推荐:
https://civitai.com/
左上角的下拉框可以用来选择模型,其中
v1-5-pruned-emaonly.safetensors
是默认模型
默认的模型画出来的图片比较丑,所以我们需要下载更好更适合的模型来绘画
每个模型侧重绘画的风格不一样,有些适合画人,有些适合画动漫,有些适合画风景,根据自己的需求选择适合自己的绘画风格模型进行下载
下载好模型,将模型文件放入到
models/Stable-diffusion
文件夹下,重载
UI
,即可看到
模型的大致区别
名称 | 需求 | 效果 | 备注 |
---|---|---|---|
stable-diffusion (4GB emaonly模型) | 2GB 显存起步 | 出图速度 10s,单次最大出 920×920 | 适合出图用 |
stable-diffusion (7GB full ema模型) | 4GB 显存起步 | 带最后一次训练的权重,所以费显存 | 适合训练用 |
waifu (Float 16 EMA 模型) | 2GB显存起步 | 与stable性能接近 ,显存占用略高 | 适合出图用 |
waifu (Float 32 EMA 模型) | 2GB显存起步 | 与stable性能接近,显存占用略高 | 适合出图用,出图质量其实和16差别不大 |
waifu (Float 32 Full 模型) | 4GB显存起步 | 与stable性能接近,显存占用略高 | 适合出图或训练用 |
waifu (Float 32 Full + Optimizer 模型) | 8GB显存起步 | 与stable性能接近,显存占用略高 | 适合训练用 |
Naifu (4GB pruned 模型) | 最低8GB显存&8GB显存 | 和官方比较接近 | 适合出图用 |
Naifu (7GB latest模型) | 最低8GB显存(向上浮动10GB) | 和官方比较接近 | 适合出图或训练用 |
- 注意这里显存指的是512X512尺寸,默认配置下,出图时软件所需要占用的显存。2GB显存起步,意味浙你电脑显卡实际显存最少也要3GB(因为系统桌面,浏览器的显示也需要占用一部分显存)
- 通过增加各种“优化”参数,可以通过性能的部分下降换取显存占用减少。
- Nafu模型名称说明1:animefull-final-pruned = full-latest = NAI 全量模型(包含NSFW)
- Nafu模型名称说明2:animesfw-latest = NAI 基线模型
参考资料:
Stable Diffusion
开源地址:
GitHub – AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
最新版本 Stable Diffusion 开源 AI 绘画工具之使用篇_人工智能_极客飞兔_InfoQ写作社区
AI 标签生成器
极客飞兔AI标签生成器