Evilom
35 lines
3.9 KiB
Markdown
35 lines
3.9 KiB
Markdown
# BaZIwUkMli87D4k9raUcuWSBnXe
|
||
|
||
Source: https://ocnmca6f1o0p.feishu.cn/wiki/BaZIwUkMli87D4k9raUcuWSBnXe
|
||
|
||
|
||
## 工作内容概述
|
||
1、研究通过让AI来生成Spine跟特效
|
||
## 一. 让生图模型一次出多张图
|
||
**问题背景**： Spine 动画需要角色在不同姿态、不同表情下保持是"同一个人"。但生图模型的常见痛点是——同一个角色描述跑两次，出来的脸、发型、配色都会有微妙的不一样。这种不一致到了 Spine 上是致命的，每帧都像换了个人。
|
||
**今天的尝试**： 让模型在一张图里同时生成同一个角色的多个姿态/表情，**把"一致性"变成模型在单张图内部需要保持的属性**，而不是依赖跨图调度。这是一个比较取巧但思路成立的办法。
|
||
**结果**： 一致性确实变好了——同一张图里几个分身的脸是一致的。但**清晰度掉得比较厉害**：单张图被切成 N 份后，每个角色的有效像素就只有原来的 1/N，放大到 Spine 工程里细节糊掉，眼睛、装饰、纹理都辨识不清。
|
||
**关键判断**：
|
||
- "把多帧塞进一张图"换来一致性，但牺牲了分辨率；这是一个明确的 tradeoff，不是 bug；
|
||
- 要么换更高分辨率的底模（成本和速度上升），要么换思路——比如用 LoRA 训练一个角色专属小模型来锁一致性，**单图依然走原分辨率**；
|
||
- 后者更可持续，前者只是当下能跑通的临时方案。
|
||
|
||
## 二. AI绿幕视频生成 + 程序抠图
|
||
**思路**： 让 AI 直接生成"角色在绿幕背景下做一段动作"的短视频，然后用程序对每一帧做色键抠图。
|
||
**问题**：
|
||
- **结果不稳定**。生成出来的视频经常达不到预期：有时候动作幅度不对，有时候手臂穿模，有时候表情丢了，有时候绿幕背景被部分污染（边缘溢色）；
|
||
- 跑出来一版可用的，平均要"抽卡"好几次。这意味着这条路在当前形态下**没法纳入正式生产流程**，产出节奏不可预测，没法排期，也没法估成本。
|
||
**关键判断**：
|
||
- AI 视频生成目前还在"惊艳但不可靠"的阶段，**适合做概念验证、不适合做量产**；
|
||
- 如果一定要走视频路径，正确做法不是直接出绿幕视频，而是把它当成**参考动作生成器**——输出一段视频给动画师做参考，最终的 Spine 动画还是人来做。这样把 AI 的"惊艳"用在它真正擅长的地方（启发、参考），把"可靠"留给人；
|
||
- 直接当生产工具用的话，视频抽卡的方式产出不太稳定。
|
||
|
||
## 三. 通过ComfyUI + SeeThrough 工作流直接拆角色图层
|
||
**ComfyUI**
|
||
是一个把 AI 生图、生视频、抠图、换背景这些能力拆成"节点"，再让用户像搭积木一样把它们连起来的工具。 它本身不生产任何素材，它只是把一堆开源模型（生图、抠图、深度估计、分层扩散等等）串成一个可以反复跑、可以微调每一步参数的工作流。
|
||
**SeeThrough**
|
||
是一个开源的 ComfyUI 插件，思路是输入一张完整的角色立绘，它通过分层扩散 + 深度估计，自动把这张图拆成多层透明素材，并直接输出成带图层的 PSD。 如果跑通，理论上美术只要画一张完整立绘，就能直接得到 Spine 可用的分层文件，省掉手工切图和补全被遮挡区域的全部工作量。
|
||
**今天的进展**：
|
||
- 把官方工作流跑通了大半，理解了它内部"生成图层 → 估计深度 → 后处理 → 存 PSD"这条链路；
|
||
- 在本地跑模型时遇到 HuggingFace 下载阻塞，转而尝试国内云服务（哩布哩布 LiblibAI）跑ComfyUI；
|
||
- 云端跑时遇到模型版本与节点参数不匹配的报错，几轮调整后仍未跑通完整流程。 |