VMagic
Draw Mode 指南

在VMagic的 Custom DIY中我们提供了2种Draw mode

1.refer video to redraw

2.origin video turn video style

这里首先针对这两种模式进行简要概述,后续会有更加完善的文档

refer video to redraw

参考原视频在一张白纸上进行重新绘制。

具体参考哪些内容,根据选择的CN(ControlNet)决定,每个ControlNet的作用,之前有一篇文章已经有过介绍。大家可以查看。

该模式适用于希望参考原视频的部分内容的场景,比较典型的是最近比较火的植物跳舞视频,植物跳舞只是参考原视频的姿势动作,所以适合该模式

在该模式下,我们提供了角色参考图与背景参考图的功能,用户可以上传对应参考图进行绘制。

该模式下,prompt很重要,因为是重新绘制,需要告诉AI绘制哪些内容,在ControlNet强度不高而且没有上传角色参考图和背景参考图的情况下,需要较为详细的prompt描述视频内容。

origin video turn video style

该模式,是指在原视频的基础上进行加工,可以理解简单为传入的视频是图像1, 绘制时会在图像2上进行绘制,该模式天然保持了传入视频的一些信息。

该模式适合与希望还原原视频内容的场景。比如跳舞风格转绘,电影风格转绘。

在该模式下,prompt可以用来指定改变一些内容,比如头发颜色,面部表情,但注意指定prompt时不要与ControlNet有所冲突,比如指定头发颜色时,不要将tile ControlNet强度设置过高(因为tile会参考原视频颜色),指定面部表情时不要将lineArt强度设置过高(因为lineArt会参考原视频线条)

最后,两种模式的 只是在ControlNet相同的情况下的对比,并没有严格分界线,对于原视频的还原程度,不仅仅与draw mode有关,也与ControlNet的选择和强度有很大关系。