1.一种基于动态轨迹流的场景流数字孪生方法,其特征在于,包括:构建检测跟踪一体化多模态融合感知增强网络,对目标语义轨迹进行提取与辨识;
对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图;
基于虚拟道路布局顶视图,获取道路布局交通语义网格编码矢量;
基于交通场景中的其他目标对某一目标产生的影响,构建目标耦合关系模型;
基于目标耦合关系模型与真实道路布局构建交通力约束模型;
基于交通力约束模型和道路布局交通语义网格编码矢量,建立基于交通力耦合关系约束的长短时记忆轨迹预测网络;
基于交通力耦合关系约束的长短时记忆轨迹预测网络,对目标的运动轨迹进行预测,得到预测的运动轨迹;
基于轨迹提取和语义辨识以及预测的运动轨迹,对中观层面交通态势的时序演变规律建模,获取基于真实目标动态轨迹流的场景流数字孪生。
2.根据权利要求1所述的基于动态轨迹流的场景流数字孪生方法,其特征在于,所述构建检测跟踪一体化多模态融合感知增强网络,对目标语义轨迹进行提取与辨识,具体为:所述检测跟踪一体化多模态融合感知增强网络包括多模态融合感知增强模块和检测跟踪一体化网络;多模态融合感知增强模块包括分辨率注意力增强模块和特征融合增强模型;
所述分辨率注意力增强模块用于学习不同模态信息的不变特征表达;
所述特征融合增强模型通过定义特征关联张量池,将各个模态卷积输出张量汇聚于张量池进行特征融合,输出融合后的特征作为主网络的输入;
所述检测跟踪一体化网络包括主网络与三个子网络;所述主网络为3D参数共享卷积主网络,3D参数共享卷积主网络作为特征提取器,提取出不同的特征分别送到三个子网络中;
所述三个子网络分别为运动推理子网、驾驶行为辨识子网和遮挡识别子网,所述运动推理子网用于对物体轨迹进行跟踪;所述驾驶行为辨识子网用于对驾驶行为的辨识;所述遮挡识别子网用于对目标遮挡部位进行识别。
3.根据权利要求1所述的基于动态轨迹流的场景流数字孪生方法,其特征在于,所述对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图,具体为:基于交通场景中道路拓扑结构与交通参与目标运行轨迹的耦合关系,实现道路布局交通语义高度参数化;
构建真实场景参数化的虚拟道路布局顶视图提取级联网络,基于道路布局交通语义高度参数化,通过虚实结合混合训练参数化的虚拟道路布局顶视图提取级联网络;
基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空间映射关系,构建道路布局虚实映射,获取与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图。
4.根据权利要求3所述的基于动态轨迹流的场景流数字孪生方法,其特征在于,所述基于交通场景中道路拓扑结构与交通参与目标运行轨迹的耦合关系,实现道路布局交通语义高度参数化,具体为:根据交通场景内主道始终点位置以及辅道距离、线形和位置道路交叉关系的拓扑属性,车道的数量、宽度与是否单向通行的道路布局属性,车道限速值和车道线形状的交通标志属性及人行横道和步行道的宽度约束行人行为的行人区域属性,将全部属性从数据角度分配唯一的ID,实现道路布局交通语义参数化;
所述构建真实场景参数化的虚拟道路布局顶视图提取级联网络,基于道路布局交通语义高度参数化,通过虚实结合混合训练参数化的虚拟道路布局顶视图提取级联网络,具体为:采集道路交通的RGB图像,并通过语义分割网络对道路交通的RGB图像进行提取,获取真实道路语义顶视图;
基于模拟器对完整标注的模拟道路图像进行采样,获取模拟道路顶视图;
分别对真实道路语义顶视图和模拟道路顶视图进行特征提取,基于虚实结合混合训练,建立虚实对抗损失函数;
对损失函数进行迭代,弥合模拟道路顶视图和真实道路语义顶视图之间的差距;
所述虚实对抗损失函数为:
其中, 表示真实数据监督下的损失函数, 表示模拟数据下监督下的损失函数,标量λr和λs表示了真实数据和模拟数据重要性权值。
5.根据权利要求4所述的基于动态轨迹流的场景流数字孪生方法,其特征在于,所述基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空间映射关系,构建道路布局虚实映射,获取与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图,具体为:基于多尺度自适应搜索的网格编码算法,对检测跟踪一体化网络所提供的真实交通场景中的目标历史轨迹进行编码到虚拟道路布局顶视图中,得到虚拟坐标轨迹及对应的道路布局参数,同时对获取的虚拟坐标轨迹及对应的道路布局参数进行集成,获取道路布局交通语义网格编码矢量;
所述检测跟踪一体化网络所提供的真实交通场景中的目标历史轨迹为获取的轨迹提取和语义辨识。
6.根据权利要求5所述的基于动态轨迹流的场景流数字孪生方法,其特征在于,所述基于交通场景中的其他目标对某一目标产生的影响,构建目标耦合关系模型,具体为:基于径向核函数建立目标间作用力,通过目标类型及目标间距离建立目标间影响权重,并基于对各目标作用力进行加权求和对目标间关系进行耦合,构建目标耦合关系模型;
目标耦合关系模型为 当t时刻下,交通场景中的其他目标对某一目标i产生的影响为:其中, 表示t时刻,目标i,j间的相互作用; 是一个权重向量,用于表达不同运动目标间的相互作用存在的差异;n(t)表示在t时刻交通场景中的目标数量。
7.根据权利要求6所述的基于动态轨迹流的场景流数字孪生方法,其特征在于,所述基于目标耦合关系模型与真实道路布局构建交通力约束模型,具体为:交通力为目标间耦合关系与真实道路布局对目标形成的共同作用力,将目标i在t时刻受到的交通力 定义为:其中, 为目标间耦合关系; 为目标i在时刻t所处道路布局语义的编码信息;ci为行为辨识子网络所给出的运动目标类型,用于表达相同道路布局对不同类型目标影响的差异;映射E是基于目标类型与道路布局语义信息给出道路布局对目标i的作用力。
8.根据权利要求7所述的基于动态轨迹流的场景流数字孪生方法,其特征在于,所述基于交通力约束模型和道路布局交通语义网格编码矢量,建立基于交通力耦合关系约束的长短时记忆轨迹预测网络,具体为:根据目标间的距离及目标类型,通过径向核函数建立目标间相互作用力及影响权重;
基于目标间作用力及影响权重,获取交通场景中其他目标对被预测目标的影响;
根据运动目标类型与虚拟道路布局顶视图给出的道路布局语义编码信息,映射得到道路布局对被预测目标的作用力;
将其他交通目标对被预测目标的影响与道路布局对被预测目标额度作用力进行拼接,得到被预测目标所受的交通力;
将被预测目标自身历史运动状态与所有交通力拼接,进入LSTM网络进行时序建模。
9.根据权利要求8所述的基于动态轨迹流的场景流数字孪生方法,其特征在于,所述基于轨迹提取和语义辨识以及预测的运动轨迹,进行中观层面交通态势的时序演变规律建模,获取基于真实目标动态轨迹流的场景流数字孪生,具体为:将真实交通场景中的目标历史轨迹和预测的运动轨迹还原到实际交通运行环境的虚拟实体中,进行中观层面交通态势的时序演变规律建模,可视化三维交通态势图演化过程;
所述时序演变规律建模具体为:根据轨迹、速度以及交通力约束模型构建时序演变规律模型:其中, 与 分别表示在t时刻目标i的位置与速度, 可由目标在两帧中的位置与帧间间隔计算得到, 为交通力约束模型;
所述虚拟实体为将高度参数化仿真道路布局顶视图导入三维仿真工具生成道路场景的三维模型。
10.一种基于动态轨迹流的场景流数字孪生系统,其特征在于,包括:第一构建模块,所述第一构建模块用于构建检测跟踪一体化多模态融合感知增强网络,对目标语义轨迹进行提取与辨识;
提取模块,所述提取模块用于对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图;
获取模块,所述获取模块基于虚拟道路布局顶视图,获取道路布局交通语义网格编码矢量;
第二构建模块,所述第二构建模块基于交通场景中的其他目标对某一目标产生的影响,构建目标耦合关系模型;
第三构建模块,所述第三构建模块基于目标耦合关系模型与真实道路布局构建交通力约束模型;
轨迹预测网络构建模块,所述轨迹预测网络构建模块基于交通力约束模型和道路布局交通语义网格编码矢量,建立基于交通力耦合关系约束的长短时记忆轨迹预测网络;
预测模块,所述预测模块基于交通力耦合关系约束的长短时记忆轨迹预测网络,对目标的运动轨迹进行预测,得到预测的运动轨迹;
数字孪生模块,所述数字孪生模块基于轨迹提取和语义辨识以及预测的运动轨迹,对中观层面交通态势的时序演变规律建模,获取基于真实目标动态轨迹流的场景流数字孪生。