欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025119399577
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于虚拟孪生注意力网络的视频场景预测方法,其特征在于,包括:对目标区域的视频流数据进行识别得到目标实体,并以所述目标实体作为节点,基于所述目标实体的多模态特征和所述目标实体之间的关联性,构建动态时空图;

将所述动态时空图输入虚拟孪生注意力网络中,得到所述虚拟孪生注意力网络输出的实际图嵌入向量;所述实际图嵌入向量用于表示当前时刻的场景状态;

基于所述实际图嵌入向量和未来图嵌入向量之间的差异性,确定群体紧张度分数;所述未来图嵌入向量是通过Transformer模型对所述实际图嵌入向量进行预测得到的;

基于所述群体紧张度分数,对当前场景的危险程度进行预警;

其中,所述虚拟孪生注意力网络用于:

将所述动态时空图中目标节点对应的多模态特征进行线性变换,得到变换后的线性特征;

基于所述目标节点和相邻节点的多模态特征,计算原始注意力得分;

基于所述动态时空图中边的权重对所述原始注意力得分进行调制,得到最终注意力得分;

基于softmax函数对所述最终注意力得分进行归一化,得到所述目标节点和相邻节点之间的注意力系数;

以所述注意力系数为权重,将所述相邻节点的多模态特征进行加权,得到所述目标节点的虚拟孪生上下文特征;

将所述虚拟孪生上下文特征和所述线性特征进行融合,得到所述实际图嵌入向量。

2.根据权利要求1所述的基于虚拟孪生注意力网络的视频场景预测方法,其特征在于,所述对目标区域的视频流数据进行识别得到目标实体,并以所述目标实体作为节点,基于所述目标实体的多模态特征和所述目标实体之间的关联性,构建动态时空图,包括:采用多目标检测算法对所述视频流数据进行识别,确定目标实体;

基于所述目标实体之间的关联性,构建包含权重的空间邻近边、交互关系边和语义关联边;

提取所述目标实体的多模态特征;所述多模态特征包括动态特征、属性特征和语义特征;

以所述目标实体作为节点,基于所述空间邻近边、所述交互关系边、所述语义关联边和所述多模态特征,构建所述动态时空图。

3.根据权利要求1所述的基于虚拟孪生注意力网络的视频场景预测方法,其特征在于,所述虚拟孪生注意力网络包括多个堆叠的多头图注意力层。

4.根据权利要求1所述的基于虚拟孪生注意力网络的视频场景预测方法,其特征在于,所述未来图嵌入向量通过以下方式获取:获取所述实际图嵌入向量之前的多个图嵌入向量,构建图嵌入向量序列;

在原始视频帧序列中提取场景动态特征向量序列;

将所述图嵌入向量序列和所述场景动态特征向量序列进行拼接,得到融合后的特征序列;

将所述融合后的特征序列输入至Transformer模型中,得到所述Transformer模型输出的所述未来图嵌入向量。

5.根据权利要求1所述的基于虚拟孪生注意力网络的视频场景预测方法,其特征在于,所述基于所述实际图嵌入向量和未来图嵌入向量之间的差异性,确定群体紧张度分数,包括:将所述实际图嵌入向量和所述未来图嵌入向量输入至训练好的MLP网络中,得到所述MLP网络输出的群体紧张度分数。

6.根据权利要求5所述的基于虚拟孪生注意力网络的视频场景预测方法,其特征在于,所述MLP网络具体用于:确定所述实际图嵌入向量和所述未来图嵌入向量之间的余弦距离或欧氏距离;

基于所述余弦距离或欧氏距离,确定所述群体紧张度分数。

7.根据权利要求1所述的基于虚拟孪生注意力网络的视频场景预测方法,其特征在于,所述基于所述群体紧张度分数,对当前场景的危险程度进行预警,包括:当所述群体紧张度分数大于预设阈值,且所述群体紧张度分数在预设时间窗口内的增长斜率大于预设趋势阈值时,触发预警。

8.一种基于虚拟孪生注意力网络的视频场景预测装置,其特征在于,包括:构建单元,用于对目标区域的视频流数据进行识别得到目标实体,并以所述目标实体作为节点,基于所述目标实体的多模态特征和所述目标实体之间的关联性,构建动态时空图;

输入单元,用于将所述动态时空图输入虚拟孪生注意力网络中,得到所述虚拟孪生注意力网络输出的实际图嵌入向量;所述实际图嵌入向量用于表示当前时刻的场景状态;

确定单元,用于基于所述实际图嵌入向量和未来图嵌入向量之间的差异性,确定群体紧张度分数;

预警单元,用于基于所述群体紧张度分数,对当前场景的危险程度进行预警;

其中,所述虚拟孪生注意力网络用于:

将所述动态时空图中目标节点对应的多模态特征进行线性变换,得到变换后的线性特征;

基于所述目标节点和相邻节点的多模态特征,计算原始注意力得分;

基于所述动态时空图中边的权重对所述原始注意力得分进行调制,得到最终注意力得分;

基于softmax函数对所述最终注意力得分进行归一化,得到所述目标节点和相邻节点之间的注意力系数;

以所述注意力系数为权重,将所述相邻节点的多模态特征进行加权,得到所述目标节点的虚拟孪生上下文特征;

将所述虚拟孪生上下文特征和所述线性特征进行融合,得到所述实际图嵌入向量。

9.一种电子设备,其特征在于,包括存储器和处理器,其中,所述存储器,用于存储程序;

所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以实现如权利要求1至7中任意一项所述的基于虚拟孪生注意力网络的视频场景预测方法中的步骤。

10.一种计算机可读存储介质,其特征在于,用于存储计算机可读取的程序或指令,所述程序或指令被处理器执行时能够实现上述权利要求1至7中任意一项所述的基于虚拟孪生注意力网络的视频场景预测方法中的步骤。