如前所述,由于插画与 AI/3d 在“世界逻辑”方面存在区别,所以需要在画概念稿时就设计好逻辑的合理性。例如,在 p2 的原稿中,左边的翅膀与右边的飞行器颜色和质感是一致的,正因如此,它会被识别成一个物体。所以后来我把左翅膀去掉了,类似这样的情况会导致一部分修改时间的产生。
很多人存在一个误解,以为 Ai 对电脑配置的要求不高,这其实是错误的。拥有一台配置高的电脑主要体现在两个方面:
显存:显存决定了你出图的精度「分辨率上限」
显卡性能方面,性能会对出图速度产生影响。好性能的显卡两三小时就能产出成果,而差性能的显卡可能需要两三天才能完成。
以下是显卡AI跑图性能性价比表 / 提供制表人:
案例5-《Q版形象3D转化实验》
注意,概念稿原图是 21 年为 blg 设计的队员形象,如今队员已离队。此次 Ai 转换属于个人作品实验,并非官方版本。
本次实验解决了一些问题
1-还原人物设定中预想的布料与塑胶质感
p1:针织毛衣,皮裤,皮带,玩具狗
光泽卫衣是皮质的,卫裤是棉质的,背包是皮质的,眼镜是塑料的
经验表明,AI 出图具有很高的随机性。要让 sd 做出具有指定质感的内容,需要从以下四个方向进行把控:一是多模型转换;二是精准识别 TAg;三是参数调控;四是贴图指向辅助。
2.Q版人物的识别
符合工作流应用的 IP 形象,细节上需要精致,然而不能写实。我们不想看到“大头娃娃”这种情况。这就需要借助 lora 模型来生成“卡通效果”,这里用到了作者 mr 木人制作的「」lora。
3-分辨率的影响
如果你的参数和 tag 等都没有问题,然而出图却很糟糕,那么可以试着调节分辨率。在某些模型里,较小的分辨率适合用于生成。而另外一些模型,需要很高的分辨率才能展现出其效果,这或许与作者在训练模型时所使用的源素材的尺寸有关。在本次制作里,lora 模型对于 1200 及以上的分辨率所产出的图,其影响会变弱。因此,在第一次生成时,我将尺寸调低,先生成出卡通效果;而在第二次生成时,我把尺寸调高,更换了模型,以深化卡通效果的细节。这个过程对参数、数据以及设计的逻辑性是一个很大的考验。
4-贴图指向辅助
如果你在 SD 图生图时,使用关键词去描述物体的质感。然而生成的效果并不理想。那么或许可以尝试【贴图指向辅助】这种方法。
这与在 3D 中的工作逻辑有一定相似之处,不过使用概念图进行操作会更为直观。例如:倘若我希望左边人物的背带呈现皮革质感,那么就能够找到对应的材质贴图,将其填入背带选区,这就如同给了 AI 一个更为具体的 tag 提示词,接着再让 AI 进行下一步的“融合”操作,它就会将其融入到整个画面之中。
二.SD的功能介绍
你是否会有这样的困扰呢?打开 SD 之后,看着那些数都数不清的按钮,就仿佛在看天书一样,感觉自己像是陷入了一头乱麻之中,完全不知道该从何处下手。
我建议先从以下这些关键词开始着手,按照优先级去反复进行跑图,尝试得出各个参数对于出图效果的权重。
AI 模型相关方面的了解,包括 Tag 标签以及其功能性;电脑配置方面,特别是显卡;还有分辨率设置;采样器效果;重绘幅度;提示词系数;-lora-局部重绘;seed;WD1.4 标签器。
AI 的工作流应用需要通过实验来进行验证。仅仅依靠想象或者以为某事如此,很容易遇到挫折。大体的实验流程如下:先有概念稿,然后进行参数对照,挑选出合适的模型,让 AI 生成内容,将模型进行互融转换,进行出图后期合成,接着再次让 AI 进行反推,最后进行调试等。
以下是在实验中,关于SD的常用功能介绍
1.模型的作用
1.定义画面风格(画风)
2.模型会限制画面里出现的内容
我们能够运用多个模型去推导内容。比如在模型 A 中生成百分之三十,在模型 B 中生成百分之七十,最后将它们进行合成。
可以利用 VAE 来提升模型的效果,这种材质增强就如同给游戏添加光追效果一样。
可以利用合适的 lora 来弥补模型的不足,比如增加特定的脸、服饰、物品或风格等内容,就像给游戏加 mod 一样。
5.模型的下载:
2.Tags编写知识
1.标准三段术式:前缀+主体+背景(+后缀)
前缀是强调图片质量的词汇,用于凸显图片的画风,也是图像整体光效的词汇。
主体即图画着重凸显的部分,可为人物、建筑或景物等。对于角色而言,通常包含面部、头发、身体、衣着以及姿态等方面的描写。
背景是对周围环境的描写。后缀通常与效果器相似,其作用是对场景进行丰富。
2.权重控制
基础的权重是通过控制在咒语中的位置来实现的。靠前的词汇会更受重视。权重控制可以利用对加括号(如 ( :1.5 ))来加强权重,括号后添加 ":1.5"就是给词条赋予权重,数字就是权重大小,数字越大权重越大,默认是 1,通常在 0 到 2 之间。也可以通过 {} 来加强权重,用 [] 来减弱权重。 ()为对其中内容权重乘以1.1,[]为对其中内容除以1.1
权重溢出指的是权重溢出现象。其表现为权重被设置得过大,使得原本的修饰词摆脱了词条的束缚,进而溢出到其他元素里,最终致使画面崩坏。
3.tag词库准确性
我们提及过 AI 世界的概念。核实 Tag 的准确性时可以对照查看。有时自己直接通过翻译写的词汇可能无法被识别。
4.限制还是释放?
tag 越精细,就会对画面的限制越大,同时 AI 自由发挥的空间就会越小。精简 tag(尤其是负面的 tag),就能够释放 AI 的想象力。
5.tag反推
CLIP 反推提示词-侧重于对图像的描述,生成句子 。
反推提示词 -侧重于对图像内容的识别,生成tag。
我个人更倾向于使用第三种,即 wd1.4 标签器。我觉得它在图片 Tag 的识别方面更为精准,能够通过阈值来掌控生成 Tag 的长短,还可以更换反推模型,以此改变提示词的变量与优先级。(由于它对显存占用较大,使用完后记得点击卸载反推模型。)
3.Lora的作用
1.类似游戏里的mod,目的是更精准的控制效果
注意 LoRA 强度会对画面效果产生影响。在 lora 中同样会有权重溢出现象,一般情况下 lora 的权重不会超过 1,并且可以在 C 站找到 lora 模型作者的推荐数值。
三.案例实操过程
在这次分享中,就以封面图为案例拆分讲解创作过程。
用SD把概念稿生成可控3D效果过程图
步骤1.概念图调整
根据模型风格的要求,我们需先在概念图上进行调整,让它契合 AI 及模型内容的生成逻辑。
在本次案例当中,我所使用的模型是【和】,而 VAE 是【vae-ft-mse--ema-】。
在前期图生图生成过程中,有过三次概念图调整。
概念图 1(原图):SD 图生图会依据图案或结构线的分割来辨认物体,清晰的线稿以及底色会对效果产生直接影响。概念图 1 具备线稿清晰且结构合理的条件。至于是否需要铺色,这取决于你使用文生图+还是图生图模式来制作。在图生图模式下,建议铺一个底色,这样便于你控制生成图的颜色。改变概念图颜色能够控制画面颜色,这种方式比在 SD 软件中通过关键词调整要快很多。
概念图 2 :在生成概念图 1 的过程中,SD 对小电视底部的星球存在识别困难,所以将其调整为概念图 2 的效果。具体来说,增加了服装的阴影,添加了蓝色背景,扩展了底部星球并进行了填色,还在关键词中添加了【,】等对背景的描述引导。再次进行生成后,小电视的立体感和空间感得到了提升,但星球的效果仍然不明显。
概念图 3 是对概念图 2 进行优化修改得到的。首先调整了内容 1,即加深了背景环境的深度,让主体更加突出。然后在花瓣中搜索“月球素材”,并进行【贴图指向辅助】,在概念图星球区域内贴上月球质感材质,以此对 AI 进行更具象的引导。对小电视的头部颜色进行调整,将其修改为渐变效果。这种颜色过渡能够指引 AI 对画面的灯光效果,效果可参照完成图。
步骤2.TAG关键词反推
将概念图放置到 WD1.4 标签器里,然后进行图片 tag 的反推,从而生成【主体关键词】
在 WD1.4 界面上传图片后,接着选择反推模型 wd14--v2(个人建议使用此模型),然后将阈值调整为 0.2(因为阈值越低,生成的词条就会越多)。
然后我们将 tag 复制到翻译软件里,接着进行核查和筛选(如果英语很好的话可以省略这一步)。之后删除那些不符合画面需求的 tag,并且添加补充内容的关键词。
按照上述的 Tag 标准三段术式,即前缀+主体+背景(+后缀),来对 tag 术语进行重新排列和组成。
这里添加的前缀有:3d 、 、soft 、rim 、tic 、H.R. 、8k best 、best art 、CG ,这些前缀用于强调图片质量、凸显图片的画风或图像整体光效,(-:1 37) 也包含在其中。
我添加的负面提示词为:画面中不希望出现的内容,包括:( :2)、(low :2)、( :2)、(())、(())、skin、skin、age spot、(:1.6)
在图生图生成过程中,关键词会因画面和控制条件的改变而修改。不要习惯于将一段术语用于“通关”,要多培养对词条权重和数据敏感度的感知能力。
步骤3.参数控制
下一步我们通过调整几个图生图模式常用参数来控制画面效果。
1.缩放模式:这里推荐【比例裁剪后缩放】
迭代步数可以被理解为画面精细度的数值,不过它会占用较大的显存。由于在 30 步之后提升并不明显,所以推荐的数值为 30。
因此,在图生图重绘时,我可以根据自己的需求选择每一步适合的采样模式。
重绘尺寸相关情况如下:若你的参数和 tag 等均无问题,但出图效果很糟糕,可尝试调节分辨率。在某些模型中,较小的分辨率适合用于生成。而在另外一些模型中,需要很高的分辨率才能展现出其效果,这或许与作者在训练模型时所使用的源素材的尺寸有关。
提示词引导系数指的是图像与你的提示的匹配程度。提升这个值,图像就会更贴近你的提示(依据模型而言),不过它也会在一定程度上使图像质量降低。可以通过增加更多的采样步骤来对其进行抵消。
重绘幅度如同下笔的力度。就如同在画水彩画时,从一抹淡淡的红开始描绘一朵精致、漂亮的牡丹。因此,图生图的重绘幅度需依据每一笔的“力度”进行调整。初始阶段不建议过高,可在 0.1 至 0.3 之间。之后多次进行图生图叠加,如 0.1 + 0.2 + 0.1 等。
步骤4.多模型推导
有些模型的结构较好,而有些模型的细节较好。在 SD 图生图的过程中,首先使用模型 a 进行百分之三十的推导,然后再使用模型 b 并不断进行反推,这是一个实验过程。同时,对过程图的调整也非常重要。
步骤5.修改与合成
不同模型生成的图各有其优点。在模型 A 中,耳机的识别效果更为出色;而在模型 B 中,宇航服的效果则更好。这是因为开发者在训练不同模型时所提供的素材库类型存在差异。我们能够将他们两种模型所生成的过程图,在 ps 里借助蒙版等工具合成为一张图,既保留优点,又修改不足。接着把修改好的图放置到 SD 图生图中再次运行,持续进行生图操作,这样 AI 就能将质感更好地融合在一起。
在这一步,希望大家能够重读之前提到的【稳定】与【细节】的逻辑关系。在修改过程图并重新导入 AI 生成的环节中,需要将每一次图生图的过程在大脑中进行数值化处理,并且借助修改过程图来对数值进行控制。
步骤6.输出总结
首先,我们在 PS 里对图片进行输出。接着,在输出后的图片上进行后期调色。然后,修饰图片的细节。最后,进行排版等操作,使这些步骤成为完整的工作流。
整个图生图实验流程包含参数、模型等方面。在这个过程中,不断进行修改和生成,并且持续循环与调整,一直到我对画面感到满意为止。如前文所述,大约十分钟的时候,实际上已经达到了百分之九十的效果。如果无法看出画面存在问题,并且对结果满意,就会停留在这个阶段。其实使用 Ai 进行设计和其他工作一样,困难之处在于那百分之十的突破。
总结
我从视觉设计师的角度出发,分享了对 AIGC 工作流实验的一些个人经验,现分享给大家,欢迎大家留言探讨。这是【运用 SD 细化工具进行高效工作流】的第一篇,内容约 8500 字,然而由于篇幅限制,还有很多细节无法深入解析,不过不必担心,这些可以留到第二篇。最后,分享一张思维导图,这张思维导图是关于本篇文章在构思时的内容。它能对整体内容进行更概括性的总结。如果本篇内容对你有帮助,那就给我点赞支持一下吧。
-卡昂卡昂
工作时间:8:00-18:00
电子邮件
扫码二维码
获取最新动态