AI数字人自定义动作:让挥手、点头和讲解自然衔接

给官网数字人加上一个挥手动作,看起来不难。但试着把欢迎、问答和产品讲解连起来,就会发现真正需要处理的细节:

欢迎词说完了,手是不是还举着?客户开始提问后,数字人能不能安静听?切换到讲解动作时,人物的位置和姿势会不会突然变化?

AI数字人自定义动作,不能只验收“这一段会不会动”,还要检查动作之间怎样衔接。 可以从素材、触发条件和播放状态三个方面来设计。

一、数字人能自定义动作吗?先确认平台支持什么

需要先区分两种需求:一种是制作带手势的固定视频,另一种是在实时对话中,根据状态选择不同动作。

金福来数字人对应的公开更新文档已经列出多动作角色、待机与倾听动作播放、动作模板复用,以及源视频和提示词预览等能力。这说明动作可以作为独立内容进行配置,而不只是更换人物照片。

AI数字人多动作演示:挥手、点头与讲解动作衔接

但不要把“支持多动作”理解为“输入任何一句动作描述,就能立即在所有角色上准确执行”。

评估时建议直接问清楚:使用已有模板,还是需要生成新素材?动作由平台自动编排,还是需要接入程序触发? 这两点决定了实际配置和开发范围。

二、动作素材怎么准备,才不会像突然换了个人?

假设欢迎动作里,人物站得比较近;讲解动作里,人物突然缩小,衣服颜色和背景亮度也变了。即使每段视频单独看都不错,连起来仍然不自然。

建议把同一角色的服装、构图、背景和光照尽量统一。对应的自定义形象训练文档也要求单人入镜、脸部持续清晰、镜头稳定,并保持良好且一致的光照。

准备动作描述时,也不要只写“热情欢迎”。可以写得更具体:

人物保持正面站姿,右手抬起轻轻挥动一次,随后自然放下,回到起始姿势;镜头位置和背景保持不变。

这是素材制作的描述示例,不是接口参数。它把动作的开始、过程和结束都交代清楚,后续也更容易检查生成结果是否符合要求。

先把一个动作做完整,再增加动作数量。 不必第一次就准备十几种手势。

三、挥手什么时候开始,什么时候应该停?

动作配置还需要回答一个问题:当前这轮对话,应该播放哪一个动作?

建议先围绕三种状态规划,具体触发方式由平台能力或接入程序实现:

对话状态建议动作需要限制的行为
首次欢迎简短挥手,完成后回到待机不要每轮回答都重新欢迎
用户说话自然倾听,保持轻微动作不要持续做大幅讲解手势
数字人回答配合讲解的小幅手势不要每句话都重复同一个动作

这背后可以用“状态机”管理。名字听起来专业,实际就是:系统记住现在处于什么阶段,再决定允许哪些动作。

例如,公开实时接口中的 realtime.input_audio_buffer.speech_started 表示检测到用户开始说话,可用于处理打断并停止当前回答播放。接入侧可以据此安排倾听状态,但动作如何切换仍需结合所用平台实现。

如果自行开发动作编排,还建议在用户打断后撤销已经过时、尚未播放的讲解动作,避免新问题开始了,人物仍在执行上一轮的手势。

四、声音没说完,人物为什么已经回到待机?

这里有一个容易混淆的技术细节:音频生成结束,不等于用户已经听完。

以公开接口中的 realtime.response.audio.done 为例,它表示这一轮音频生成完成。如果客户端还有未播放的音频,直接根据这个通知切回待机,就可能出现声音还在继续、人物却已经停止讲话的现象。

因此,动作结束条件应结合实际播放进度,而不是只看服务端是否完成生成。

对于普通音视频文件,浏览器提供 ended 事件表示媒体播放到末尾;但持续实时流不能直接把整条媒体流结束,当成每轮回答结束。实时项目应使用对应的播放进度、队列或SDK回调来判断。

排查时可以同时记录“生成完成”和“播放完成”。两个时间点分开后,才容易找到动作提前收尾的原因。

五、动作切换有跳变,应该改素材还是改程序?

先看跳变发生在哪里。

如果人物大小、光照或衣服发生变化,先检查素材一致性。 如果人物始终一致,但手臂从抬起直接跳到放下,则建议检查前一个动作的结束姿势,与后一个动作的开始姿势是否接近。

对于需要循环的待机素材,应重点检查首尾是否能够衔接。自定义形象素材文档也建议使用能够自然循环的视频,以改善连续呈现。

如果采用3D模型,还可以通过动画混合逐步降低旧动作的权重、提高新动作的权重。例如Three.js提供交叉淡化相关能力,用于动画之间的过渡。这属于3D动画处理方法,不能直接等同于2D视频片段切换。

所以,不要遇到跳变就统一要求“加个淡入淡出”。先分清是素材不一致、姿势接不上,还是播放状态切错了。

金福来数字人的多动作配置,先拿一段完整对话验收

建议先配置一组简单动作:欢迎、倾听、讲解。然后完整走一遍“进入页面—提出问题—听取回答—中途插话—继续追问”。

重点观察三个地方:欢迎动作是否反复出现,插话后能否切回合适状态,回答结束时声音与动作是否一起收尾。这些是建议测试项,不是已经完成的实测结果。

金福来数字人官网提供形象定制和网站接入相关服务,并设有“咨询试用”入口。企业可以提交现有形象、使用页面,以及希望增加的两三个动作,进一步沟通素材准备、多动作配置和接入范围。

AI数字人自定义动作,不需要一开始就做得很复杂。挥手要完整,倾听时要收住,讲解时要配合内容,切换时不要突然变脸。把这些细节接顺,比单纯增加手势数量更值得优先做。

滚动至顶部