VMagic
[使用指南]Custom DIY中的Controlnet

Custom DIY Controlnet 作用介绍以及说明:

在Custom DIY功能中我们可以让用户自由选择可以使用的ControlNet,ControlNet的作用是增加对生成的视频的一种约束。

在Custom DIY中我们一共提供了5种ControlNet,每种ControlNet又提供了0~1的强度控制,精度为0.01,,组合使用不同的ControlNet以及强度,可以让我们生成满意的视频效果,下面我们逐个介绍每种ControlNet的作用

  1. Pose

    功能说明:

    Pose 的控制是指提取出原视频中的人物姿势,包括面部 手部 身体等, 让生成的视频可以按照原视频中的人物姿势进行运动。

    使用建议:

    因为一般进行视频生成时,我们都希望可以与原视频中的人物姿势动作保持一致,所以建议大部分情况打开Pose 并且强度设置为0.85~1。此外我们的Pose 中增加了pose exclude face开关,打开时关闭脸部检测,在一些植物跳舞的效果中需要忽略脸部细节。

  2. Depth

    功能说明:

    Depth可以提取出原视频中人物,物体,人物的深度关系,并在生成视频中按照这些深度进行约束。

    使用建议:

    当人物动作与身体产生重合时建议打开,比如2只胳膊出现交叉时建议开启Depth,可以准确绘制出前后关系,以及背景中有一些建筑物时,也可以开启Depth,Depth强度建议从Medium开始尝试,给AI一些发挥效果的空间。

  3. Tile

    功能说明:

    ,Tile是在原视频上忽略一些细节,然后再对这些细节进行重新生成,从而得到我们新的视频,所以使用Tile可以对原图像的非细节部分起到一定的还原作用。

    使用建议:

    当希望一定程度还原原视频时可以使用Tile,建议强度0.5。

  4. LineArt

    功能说明:

    LineArt可以识别原视频中的关键线条, 并在生成新视频时按照这些线条进行约束。

    使用建议:

    如果需要参考的原图像的线条时可以使用LineArt。另外,原视频中如果有文字,希望可以保留原文字时可以使用LineArt,建议强度0.5~0.7,不建议LineArt强度设置为0.85以上,这样对图像的约束太强,可能无法发挥AI的风格能力。注意: LineArt与softEdge不要同时使用。

  5. SoftEdge

    功能说明:

    SoftEdge与LineArt一样都是对原视频进行线条提取,但有所区别,SoftEdge只能识别图片大概的轮廓细节,线条比较柔和,这样给AI发挥的空间就比较大, 相比LineArt, softedge对识别出线条的约束力较弱,相当于给AI一个大概轮廓绘制。

    使用建议:

    当我们仅希望参考原视频中的大概轮廓,并且允许AI生成视频时有较大发挥空间时,可以使用SoftEdge。

  6. qrcode

    功能说明:

    qrcode会使得风格,效果更佳聚焦于角色上。

    使用建议:

    当你使用Effect或者一些参考图时,你可以使用QRCode,它会使你的风格效果更加聚焦于角色上。

简单风格转换配置说明:

另外说明在我们的简单风格转换中,大部分Style都是使用了Lineart强度为0.5 Tile 强度为 0.5和Pose 强度为0.85的ControlNet进行约束。

所以当你使用简单选项无法得到满意结果时,建议可以来Custom DIY来进行自定义控制,当你充分理解每个ControlNet作用时,会发现根据不同视频选择不同的ControlNet进行生成会得到非常好的结果。比如你认为你的视频稳定性不够时,可以增加Tile 与 LineArt的强度。