博客

Stable Diffusion 准确绘制人物动作及手脚细节（需ControlNet扩展）

  • Post author:
  • Post category:其他


目前AI绘图还是比较像开盲盒，虽然能根据语义提供惊艳的图片，但是与设计师所构思的目标还是有一定距离。

那像我们这种没有绘画功底的程序员想要制作出心中的人物（尤其手脚）姿态，该怎样减少随机开盒的次数呢？

本文提供几种精确控制人物动作的方法。

注意：正式使用前请先确认你的Stable Diffusion Webui中已经安装了

ControlNet

扩展和

OpenPose Editor

插件，

ControlNet

扩展所需的模型

candy

、

depth

、

openpose

（建议全给装了）也部署到位。

不会安装的同学参考：《

Stable Diffusion中ControlNet和OpenPose的安装教程

》

在这里插入图片描述


流程整理：无论那种方法，操作思路都差不多

  1. 参考图：摆pose出参考图，尽量表达到位；
  2. 分析调试：将参考图提供给controlnet使用并进行微调；
  3. 出图：Stable Diffusion开盲盒出图（期间需若干参数调整）。



一、在线人偶摆pose法



准备

大都大同小异，具体摆pose方法我就不写了，多调调就能掌握的。

网址：


https://app.posemy.art/



https://webapp.magicposer.com/



https://www.anyposes.com/



参考图

摆好相机位置，清除背景，生成pose参考图。

在这里插入图片描述



分析调试

将图片放入controlnet，分析openpose，得到结构图（重要），深度图和边缘图看需要，注意权重、介入和退出的时机。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述


越白越亮表示离观看者越近，本案例中右侧的人物更亮更白，这说明controlnet的深度图分析错了。



生图

本节参考图中的人物细节有重合的部分，因此将容易混淆的部分用文字描述来约束。

在这里插入图片描述


Generation Data：
 

modelshoot style, 2warrior, fall backward with arms outstretched, push down, Roman Colosseum, helmet, cloudy sky, 
Negative prompt:  easynegative
Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 10

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述



二、OPENPOSE自画法



准备



参考图

通过

OpenPose Editor

编辑一下人物形态。

在这里插入图片描述



分析调试

发送到

>>>文生图

，并且配置参数

在这里插入图片描述



生图

随便写点适合的东西。

在这里插入图片描述


Generation Data：
 

modelshoot style, (extremely detailed CG unity 8k wallpaper), full shot body photo of the most beautiful artwork in the world, beautiful women, (1dancer:1.5),(2hands:1.5)
Negative prompt:  easynegative, canvas frame, cartoon, 3d, ((disfigured)), ((bad art)), ((deformed)),((extra limbs)),((close up)),((b&w)), wierd colors, blurry, (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render
Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 10

在这里插入图片描述

单纯使用本方法的话，目前没法产生深度图和边缘图。



3D进化

3D版的openpose，参考这篇文章进行操作：


AI绘图实战（十一）：将纸质儿童画修改为电子照片/3D Openpose插件使用 | Stable Diffusion成为设计师生产力工具



三、Blender三维建模方式

本方法可以提供深度图、结构图~~~



准备



参考图

用blender打开下载的模型，调整人物的姿势，如图：

在这里插入图片描述

调整分辨率

在这里插入图片描述

分别打勾

depth

、

canny

、

pose

后渲染图形就能得到controlnet所需的图片

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

出图方法如下：

  • 深度图

    如上图选中depth，渲染出深度图另存即可

    在这里插入图片描述

  • 边缘图

    选中canny后根据下图配置完

    compositing

    ，再渲染保存就是canny图

    在这里插入图片描述

    在这里插入图片描述

  • 骨骼图

    取消canny图中所设置的反转颜色，否则出图不正确

    在这里插入图片描述

选中openpose后渲染图形

在这里插入图片描述



分析调试

将三张图分别导入controlnet中，参考方案一。



生图

写一下关键字生图。

在这里插入图片描述

在这里插入图片描述

stable diffusion似乎在这个机位角度对身形的分析并不好，这小粗腿。-_-!



四、常用图片识别法



准备

真人摆pose照一张



参考图

本文用安娜·谢尔巴科娃的照片~~

在这里插入图片描述



分析调试

controlnet分析绘制出边缘图、骨骼图和深度图。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

这种干净单一的画面，controlnet分析出的结果是比较准确的，所以如果真的用于生产制作，那么绿幕或干净的背景还是有一定必要的。



生图

在这里插入图片描述 

figure skating, Style-Empire, 8k portrait of beautiful young woman, sports
Negative prompt: [lowres, cropped, watermark, jpeg artifacts, low quality, normal quality, bad anatomy, text error, worst quality]
Size: 1024x691, Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 5,

在这里插入图片描述

在这里插入图片描述

如果降低controlnet的约束参数，很可能生图生出双人滑冰~~

在这里插入图片描述

简单易用，以后想作图自己做动作就行了。



五、PS修补法

这是针对图样出完以后的细节修改方法。



准备

  • 准备好PHOTOSHOP等图片编辑软件
  • 准备一张待修改的图片

在这里插入图片描述

  • 寻找一张手图

    在这里插入图片描述



参考图

  • 在photoshop中，将手放在合适的位置并且将色彩尽可能调一致，这涉及到phososhop的部分知识。

在这里插入图片描述



分析调试

生成参考图导入Stable Diffusion的

图生图

>>>

局部重绘

画笔涂抹需修改的对象（此处为手）后，配置参数（需多次调整）生图，直到满意为止。

其间可能除了修改主要对象外，对对象周围的部分也可能以涂抹方式修改。

请添加图片描述



生图

手的光影色彩协调了（其实错了），但细节丢失了。

在这里插入图片描述

像这种小修小改的，绘画专业的人员用传统方式改动可能更快更细腻更准确。


版权声明：本文为snans原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。