1.一种基于生成式多模态脚本语义映射的影视场景智能合成方法,其特征在于,包括:
对获取的影视剧本文本进行语义单元切分与依存结构分析,依据角色实体、情节事件及空间位置关系建立脚本语义映射关系;
采用生成式多模态语义对齐方法对脚本语义映射关系进行跨模态特征映射训练,使影视剧本文本的语义单元与视觉风格、构图关系及光照要素建立一一对应关系,并生成与脚本语义映射关系匹配的初始场景布局图;
对初始场景布局图进行时空一致性优化处理,依据脚本语义映射关系中的时间顺序及空间深度信息,建立角色动作序列与摄像机视角的同步约束关系,通过动态特征传播机制维持相邻镜头间光照方向、人物姿态及背景连续性的一致,获得经时空一致性优化处理后的场景布局图序列;
采用生成式自监督渲染方法对场景布局图序列进行渲染重构,基于脚本语义映射关系的语义边界保持约束及跨帧像素自监督信号对生成图像进行细化生成,生成具备真实光照反射特征与纹理一致性的渲染结果序列;
根据渲染结果序列,依据脚本语义映射关系中的事件节奏节点确定镜头切换节奏及焦距变化轨迹,采用语义驱动的镜头运动控制方法规划摄像机运动路径,并生成与脚本语义映射关系一致且剧情逻辑自然的可播放影视场景视频。
2.根据权利要求1所述的基于生成式多模态脚本语义映射的影视场景智能合成方法,其特征在于,所述采用生成式多模态语义对齐方法对脚本语义映射关系进行跨模态特征映射训练,使影视剧本文本的语义单元与视觉风格、构图关系及光照要素建立一一对应关系,并生成与脚本语义映射关系匹配的初始场景布局图,包括:对脚本语义映射关系中每一个角色实体、情节事件与空间位置关系进行语义要素细化处理,将其扩展为包含语义属性、场景作用意义以及视觉呈现意图的语义要素集合,使每一个语义要素集合都能够完整表达脚本语义映射关系中该语义单元在视觉化时应呈现的叙事功能与风格倾向,并将语义要素集合作为跨模态映射训练的输入语义信息;
获取与语义要素集合对应的视觉参考元素集合,其中视觉参考元素集合依据脚本语义映射关系中的角色身份、情节结构及空间环境从预先建立的视觉风格参考信息、构图特征参考信息与光照特征参考信息中抽取,使每一个语义要素集合都与一个视觉参考元素集合对应,并使视觉参考元素集合能够表达角色外观风格、场景构图方式与光照方向特征;
在语义要素集合与视觉参考元素集合之间执行生成式语义对应关系推断,通过对语义描述内容、叙事功能以及视觉呈现意图的逐层关联分析,推断每一个语义要素集合在视觉风格、构图方式与光照方向上的表达方式,并生成包含视觉风格信息、构图关系信息及光照方向信息的跨模态语义对应结果,使跨模态语义对应结果完整反映脚本语义映射关系的视觉化特征;
依据跨模态语义对应结果执行多轮一致性校验,将文本语义所要求的叙事逻辑与视觉参考元素集合中包含的风格特征、空间构图及光照条件进行双向校验,在发现叙事逻辑、视觉风格或光照方向存在偏离时,重新调整跨模态语义对应结果中的风格信息、构图信息及光照特征信息,使跨模态语义对应结果在叙事逻辑、视觉风格与光照条件三者之间保持一致性;
根据经一致性校验后的跨模态语义对应结果生成初始场景布局图,将角色位置、角色姿态、场景构图框架、光照方向与场景中主要物体的布置方式依照脚本语义映射关系的结构顺序进行排布,使初始场景布局图能够完整表达脚本语义映射关系所要求的视觉结构。
3.根据权利要求2所述的基于生成式多模态脚本语义映射的影视场景智能合成方法,其特征在于,所述在语义要素集合与视觉参考元素集合之间执行生成式语义对应关系推断,通过对语义描述内容、叙事功能以及视觉呈现意图的逐层关联分析,推断每一个语义要素集合在视觉风格、构图方式与光照方向上的表达方式,并生成包含视觉风格信息、构图关系信息及光照方向信息的跨模态语义对应结果,使跨模态语义对应结果完整反映脚本语义映射关系的视觉化特征,包括:对语义要素集合中的语义描述内容进行叙事语境扩展处理,将语义描述内容中隐含的场景氛围、人物心理状态以及叙事推进速度解析出来,形成能够表达叙事氛围、人物心理以及叙事节奏的语义语境信息;
依据语义语境信息,对视觉参考元素集合中的视觉风格信息、构图关系信息与光照方向信息进行叙事关联筛选,使叙事关联筛选后的视觉信息能够反映语义语境信息中所表达的氛围强度、人物心理紧张程度以及叙事节奏变化特征,并将叙事关联筛选后的视觉信息作为视觉表达候选信息;
根据视觉表达候选信息中不同视觉特征对叙事表达的重要程度,对视觉表达候选信息进行表达权重排序,使表达权重排在前列的视觉风格、构图关系与光照方向表达语义语境信息中最核心的叙事意图,并将表达权重排序后的视觉信息作为视觉融合处理的输入;
依据表达权重排序后的视觉信息,依照视觉风格信息对构图关系信息的影响顺序以及构图关系信息对光照方向信息的影响顺序进行逐层融合处理,使视觉风格信息决定整体画面风格倾向,使构图关系信息决定画面的空间布局方式,使光照方向信息能够决定画面的光照层次与视觉焦点位置,从而形成初步的跨模态视觉表达结果;
对初步的跨模态视觉表达结果依据脚本语义映射关系中的角色关系、事件逻辑以及空间位置顺序进行叙事一致性回溯分析,使跨模态视觉表达结果在叙事逻辑、空间表达与视觉呈现三者之间达到一致形成最终的跨模态语义对应结果。
4.根据权利要求1所述的基于生成式多模态脚本语义映射的影视场景智能合成方法,其特征在于,所述对初始场景布局图进行时空一致性优化处理,依据脚本语义映射关系中的时间顺序及空间深度信息,建立角色动作序列与摄像机视角的同步约束关系,通过动态特征传播机制维持相邻镜头间光照方向、人物姿态及背景连续性的一致,获得经时空一致性优化处理后的场景布局图序列,包括:在初始场景布局图中,根据脚本语义映射关系中各情节事件的时间顺序以及角色在空间深度上的前景、中景和背景标注结果,对每一幅初始场景布局图附加时间索引和空间深度标记,形成按照时间顺序排列且带有空间深度标记的场景布局图序列;
在带有时间索引和空间深度标记的场景布局图序列中,依据信息连续的角色位置变化和姿态变化,对每一名角色在相邻场景布局图之间的平移方向、位移幅度和姿态变化进行整理,形成描述角色在时间维度上运动路径和姿态过渡情况的角色动作序列,同时根据场景布局图中摄像机取景框位置、取景方向以及空间深度标记,提取摄像机视角在时间维度上的变化情况,形成与角色动作序列一一对应的摄像机视角变化序列;
根据角色动作序列与摄像机视角变化序列,对每一相邻时间索引之间的场景布局图建立同步约束条件,同步约束条件至少包括角色在当前时间索引下的预期位置范围、角色姿态变化的允许偏差范围、摄像机视角相对前一时间索引的允许偏移范围以及根据空间深度标记计算出的前景、中景和背景在画面中的允许位移范围,从而形成用于约束角色动作、摄像机视角以及场景层次结构的时空约束参数集合;
依据时空约束参数集合,在相邻场景布局图之间执行动态特征传播处理,将前一时间索引下已经满足时空约束的光照方向信息、人物姿态信息以及背景物体空间分布信息作为参考信息,将参考信息沿着时间索引向后一帧或多帧传递,在传递过程中对不满足时空约束参数集合的光照方向、人物姿态和背景物体位置进行平滑调整,使光照方向在时间上呈现连续变化,使人物姿态在时间上呈现自然过渡,使背景物体在时间上保持合理的空间连贯性,得到经动态特征传播调整后的中间场景布局图序列;
在中间场景布局图序列的基础上,结合脚本语义映射关系中跨镜头的角色关系和事件逻辑,对整个中间场景布局图序列进行全局一致性回溯分析,在回溯分析过程中,对在局部动态特征传播处理中与整体叙事逻辑或整体空间布局不一致的光照方向、人物姿态或背景结构进行再次调整,使整个场景布局图序列在时间顺序、空间深度、角色动作轨迹和摄像机视角变化之间形成统一的时空连续性,从而获得经时空一致性优化处理后的场景布局图序列。
5.根据权利要求1所述的基于生成式多模态脚本语义映射的影视场景智能合成方法,其特征在于,所述采用生成式自监督渲染方法对场景布局图序列进行渲染重构,基于脚本语义映射关系的语义边界保持约束及跨帧像素自监督信号对生成图像进行细化生成,生成具备真实光照反射特征与纹理一致性的渲染结果序列,包括:在场景布局图序列中,根据脚本语义映射关系对角色轮廓、场景物体范围以及结构边界的语义标注进行解析,对每一幅场景布局图生成能够区分不同语义区域的语义边界指示信息;
在获得语义边界指示信息后,对相邻场景布局图依据其时间索引进行像素对应关系分析,通过比较角色位置变化、光照方向变化以及背景结构位置,对相邻帧中属于同一语义区域的像素范围进行标定,形成跨帧像素对应参考信息,并将跨帧像素对应参考信息作为跨帧像素自监督信号的输入基础;
在跨帧像素对应参考信息的基础上,对相邻帧中对应像素的亮度变化范围、颜色变化范围和纹理细节变化范围进行整理,生成用于保持相邻帧语义一致性的跨帧像素自监督信号,并将跨帧像素自监督信号作为图像细化处理的输入条件;
根据语义边界指示信息与跨帧像素自监督信号,对每一幅图像执行光照细化处理,在光照细化过程中,以语义边界指示信息限制光照变化的跨区域传播范围,并依据跨帧像素自监督信号对光照方向变化进行平滑调整,生成包含光照细化内容的中间渲染图像;
在中间渲染图像的基础上,依据脚本语义映射关系中关于材质属性的语义描述,对语义区域执行纹理细化处理,通过在角色区域、环境区域和物体区域分别加入与材质属性对应的纹理细节,并参考跨帧像素自监督信号对纹理变化进行调整,使纹理细节在相邻帧之间保持连贯性,得到渲染结果序列。
6.根据权利要求5所述的基于生成式多模态脚本语义映射的影视场景智能合成方法,其特征在于,所述在中间渲染图像的基础上,依据脚本语义映射关系中关于材质属性的语义描述,对语义区域执行纹理细化处理,通过在角色区域、环境区域和物体区域分别加入与材质属性对应的纹理细节,并参考跨帧像素自监督信号对纹理变化进行调整,使纹理细节在相邻帧之间保持连贯性,得到渲染结果序列,包括:根据脚本语义映射关系中的材质属性语义描述,对中间渲染图像中的角色区域、环境区域和物体区域进行材质属性标记,使每一个语义区域具有对应的材质属性标记;
依据材质属性标记,从预先建立的纹理样本库中为每一个语义区域选择与材质属性标记相匹配的纹理样本,并根据纹理样本的纹理尺度、纹理方向和纹理密度形成纹理候选配置;
依据跨帧像素自监督信号对纹理候选配置进行时间维度的调整,根据相邻帧的亮度变化范围、颜色变化范围和纹理细节变化范围,确定当前帧中各语义区域允许使用的纹理强度、纹理方向和纹理尺度,形成纹理应用控制信息;
根据纹理应用控制信息,在中间渲染图像中对角色区域、环境区域和物体区域叠加与材质属性标记一致的纹理细节,并依据语义边界指示信息限制纹理细节在每一个语义区域内部的空间范围,形成包含纹理细化内容的初始渲染图像序列;
依据跨帧像素自监督信号对初始渲染图像序列进行跨帧纹理一致性检查,对检测出的纹理强度、纹理方向或纹理尺度超出允许变化范围的语义区域,按照纹理应用控制信息进行纹理细化调整,更新初始渲染图像序列并输出为所述渲染结果序列。