当地球发电量达到一级文明,土卫十八——“潘星”突然脱离轨道,悬停在地球上空。从那天起,任何试图伤害他人的人,都会毫无征兆地变成一地五颜六色的糖果。
这是 WPP(全球领先的广告集团,旗下拥有奥美、传立等品牌)AI导演 DiDi_OK 最新9分钟科幻短片《Candy》的世界观,由 Seedance 2.5 720P 完整制作。
DiDi_OK 表示,做这部短片最大的惊喜来源于模型在“精细定制化”上的突破,让他在视效和叙事上解锁了更大的自由,完成了“导演中心制”的又一个作品。
我们与 DiDi_OK 深入聊了聊《Candy》背后的制作过程。在他的讲述中你可以清晰地看到:AI在影像中解锁的最新水位线。
在做3D动画出身的AI导演眼里,DiDi_OK 认为:“AI影像本身就全部是特效,Seedance 2.5给足了定制化雕琢内容的空间——创造出属于自己的角色、IP,能够做出有意思的视效”。
在他看来,随着 Seedance 2.5能够精细地定制视效后,AI电影将迎来更加个性化的时代。在《Candy》近9分钟的影片中,随处可见这种定制化内容带来的眼前一亮。
“‘潘星’通过蚂蚁搬运糖果传递信息时,背景一直在换,光影也一直在换,Seedance 2.5对微观动物——蚂蚁的模拟能做到一个个小腿迈步都非常有力,所有一切的连续性做到了比传统 CG 更好的效果”。
在疾驰的汽车镜头中,Seedance 2.5的车辆动力学表现能做到:车身不再仅做平移移动,而是依据实时车速、转向及加减速状态,产生符合真实惯性的悬挂压缩、俯仰、侧倾与路面起伏反馈。
演绎本片 Dress Code(坏人会爆炸,好人就没事)最关键的特效资产——糖果,在不同光影、环境中的表现不再依赖3D工具的配合或者后期,Seedance 2.5直接出的效果已经非常真实。
单镜头内呈现自然变焦,糖果细节、皮肤微观纹理的细腻材质表现真实
对于糖果爆炸的特效,DiDi_OK 则称,“Seedance 2.5是小数点前的进步,应该叫它3.0,尤其是对运动规律的理解。糖果能在极其夸张的特效下,依旧保持每一颗糖果的引力和它的弹跳效果极度真实。这本身就是一个非常嚣张的威胁,类似于《三体》里的水滴(WDH),不论怎么看它都很精密,还有《2001太空漫游》黑色的方尖碑,怎么看都是9”。
在写实光照与阴影环境中的糖果爆炸特效,Seedance 2.5与场景的光源方向、反射、遮挡关系及体积光反馈自然融合
还有这个有趣的转场,一个超长镜头采用多角色充当“帷幕”,来完成空间场景的连续切换与多层视觉叠加,同时保证角色表演、动作衔接与台词口型的全程连贯。
Seedance 2.5支持的无缝绿幕编辑可以实现自动匹配新背景的光影,全程无需绿幕或抠图。这类过去依赖大量后期合成与镜头拼接的效果,现在可以在一次生成中实现。
极大景别下真实的“潘星”位移动画也是一次大胆尝——没有参考、纯文生视频的定制化特效,同时具有极大的景别。但如下方呈现的,“潘星”并没有单纯的消失,而是有一个真实的转移瞬间,同时云层,热气球都会被它的动作影响到产生真实的物理反应。
片尾的一镜到底更是在超长镜头中完成了复杂机位调度与多角色连续表演,包括跟拍、环绕、推拉、转场及空间穿行等运动。他表示,“在贯穿始终的不间断拍摄中,角色身份、动作逻辑、场景关系与表演节奏均保持稳定一致,直接印证了 Seedance 2.5超长镜头的一次生成能力,能承载更完整的叙事节拍”。
对于这些能按照自己想法精确定制的镜头,DiDi_OK 介绍,Seedance 2.5在明度、饱和度等画面质感和运动规律的大幅提升和遵循,让他在叙事和视觉上都有了更大的自由度。随之而来的,他的创作工作流也在发生改变。
在《Candy》的制作过程中,脚本和分镜的重要性减弱。DiDi_OK 说,“一开始写了分镜脚本,发现它很不鲜活, 力量感随着每一句话的落地在递减,会很僵化。剧情、画面,以及最后封装落地如果都是线性思考,力道就会消失”。
在这种情况下,他会尽可能确保一个镜头里叙事、审美、情绪同时存在:叙事能看明白,审美要好看,在这两者的基础上能不能有一点人味儿以及和观众的交流感(885879)。比如在《Candy》中,一开始小女孩在吃糖,然后看到了“潘星”的影子,这部分画面的色彩蛮鲜艳,就是想通过色彩尽可能降低单叙事带来的损耗,拉近和观众的距离。
“在你开始制作的时候,就要确保这三层是同时存在,而不能依赖于后面的叙事和前面的铺垫。当一个节点它同时满足这三点的时候,我就确定,它可以放到这。”
在他看来,AI有一个特性,开始即结束,这也是某一类视觉叙事里很难画分镜的原因。在实拍和3D制作中,通常都需要等待很久的周期(883436)、高昂的成本才能看到最终结果,但是AI马上就可以看到一个画面呈现。它往往会给我们更多的灵感,甚至是意想不到的结果和新的镜头思路,比你想要的还要好。
这就意味着不需要画分镜,只需要去设立固定的时间点,什么时间出现什么事件,单独的根据这个事件去打磨。他介绍道,“最重要的是记录和明确剧情转折点和故事时间线”。
“我们可以不断测试,不像传统拍摄要赶天光,或者大场面的实拍会有很多现场工作人员,重新拍成本马上就上来了。AI可以一直测试,分镜至少在《Candy》这样世界观为主的叙事故事框架里,不是特别必须”,他表示。如果是固定角色的 IP 叙事,他仍旧会画分镜。
在创作过程中,DiDi_OK 前期会设计明确的主题、故事大纲、关键角色和场景资产,并进行技术落地的测试。但他也发现,随着模型能力提升,这部分前期设计的重要性也在减弱。
以关键帧,也就是参考图为例。
Seedance 2.5之前,他认为关键帧最重要,决定了视觉上限,其次是提示词和模型选择。但在《Candy》中,他认为提示词最重要,“我都是在拿 Seedance 2.5生图”。之前他用生图模型和后期等方式先做好关键帧的美术,但现在他发现 Seedance 的画面质量更高,“大部分时候我是 Seedance 2.5生图,再用选定的图生视频。”
在这种情况下,提示词成了决定视觉上限的首要条件。“Seedance 2.5的提示词权重占比很大,每次调整都可能带来更准确的结果。不断尝试,调整 prompt,总有惊喜。”
这是《Candy》中最难做的一个镜头:多人场景下的多重爆炸效果。难点在于同一个场景下有大量角色,且每个角色有不同的故事线以及动作,需要让他们同时成立不能有穿帮。比如警察身后的非洲裔男子有自己的独立故事线,他会先挣脱束缚,然后推翻桌子,举起电视机准备攻击警察,这时突然闪烁的灯光会让画面中所有人停下动作,并让具体的人同时瞬间爆炸。
持续调整提示词后,这个镜头最终有了下面的效果。
Prompt:
以参考图的警局办公室环境、冷白色顶灯、紧张拥挤的工作节奏和写实纪录片质感为基础。一镜到底,镜头近距离跟拍一名穿深色普通警服的警察穿过办公区;制服不出现可辨认的徽章、国旗、城市名或文字标识。他右手紧握对讲机,周围警员接电话、翻文件、匆匆穿过走廊,办公室充满键盘声、电话铃和压低的交谈声。 对讲机骤然传出一阵刺耳电流杂音,紧接着是一名惊恐、急促、喘着粗气的男性声音,用英文大喊:“Requesting backup! Operator One just turned into candy!”警察脚步猛地停住,脸色一沉,难以置信地低头看向对讲机,手指不自觉攥紧。背景中的工作人员仍在各自处理混乱事务,没有人立刻回应这条求援,使现场显得更真实、压抑又荒诞。 16:9,极强临场感的手持纪录片镜头,随步伐自然晃动,自动对焦在警察的手、对讲机和背景忙乱的人群之间短暂游移,偶发失焦;保留对讲机杂音、办公室环境声和人物呼吸,不要BGM,不要字幕,不要慢动作,不要夸张表演。
上下滑动查看
<<< 向左滑动查看提示词参考
DiDi_OK 认为,用 Seedance 2.5写提示词的最佳方式只有一个,尽可能描述脑海里的画面,由于 prompt 可以被模型忠实的还原,所以想象力越丰富,审美越具体出来的画面和质感就越好。
就像《Candy》里面的一个片段——太空中的两个男人在争夺毛毯并爆炸成糖。这么抽象并且有张力的镜头,只要提示词精准,都可以实现。他表示,这个镜头甚至没有用到参考图,文生视频直出。
事实上,DiDi_OK 从去年4月才开始用AI做视频,完整闭环讲自己的故事。在那之前,作为3D动画师,他在一个完整的叙事项目中只占几十分之一。
他补充,国际上有渲染比赛以7秒钟为限,这基本上是个人3D动画创作者单位时间内的极限,单独的生产力达不到支撑一个故事。在这个过程中会牺牲掉非常多自己的创意,因为要与人合作。
“在一个工作流里,大概率你只能负责建模,不能既建模又绑定又做动画,一定要交给下一个人,那么你的创意就会在下一个环节被改变。但是AI时代,这个东西就完全不存在了。从电影角度上,你真的能做一个导演中心制的东西。”
短短16个月,他的AI作品全网累计播放量高达6000万,几乎每一条都是爆款。对此,他认为动画应该是最接近导演的,因为没有实拍演员,这样的接近性和积累让他在用AI讲故事上的成长来得更快。
他说,“随着AI时代的到来,进入这个领域是一个顺理成章的事情,我最开始选择做动画,就是为了讲自己的故事。而AI可以让我们避免多管线的制作以及庞大的制作流程,可以直接开始自己的故事。”
随着模型能力进一步提升,Seedance 2.5正在让更多人可以实现电影级长叙事的镜头。DiDi_OK 认为,最终,重要的是叙事和 IP。IP 不只是狭义上固定的虚拟角色,更是广义的,一看大概的基调和味道,就能联想到创作者或者特定的创作风格。一如提到 DiDi_OK,大家会想到每次他的作品都会出现很有脑洞,但又值得大家探讨的问题可以一起聊一下。
