1.一种基于多模态群体行为识别技术的交互行为识别方法,其特征在于,包括:实时采集目标视频图像并进行预处理,将预处理后的所述目标视频图像输入多模态群体行为识别网络,所述多模态群体行为识别网络包括图像分支子网络、文本分支子网络和关键点分支子网络,所述图像分支子网络、文本分支子网络和关键点分支子网络之间的网络结构为相互并行结构;
所述图像分支子网络根据轻量化图像特征处理模块对所述目标视频图像进行特征提取,获取基础目标群体图像特征,再根据时空双流交互的群体关系增强模块进行特征关系增强,以获取关系增强图像特征;
所述再根据时空双流交互的群体关系增强模块进行特征关系增强,以获取关系增强图像特征的步骤,具体包括:图像分支子网络包括群体关系增强模块,所述群体关系增强模块包括空间-时间分支路径和时间-空间分支路径;
所述空间-时间分支路径中包括空间注意力残差子模块,所述空间注意力残差子模块包括空间注意力块、多层感知块和残差分路;
所述时间-空间分支路径中包括时间注意力残差子模块,所述时间注意力残差子模块包括时间注意力块、多层感知块和残差分路;
所述群体关系增强模块基于时空双流交互算法进行特征关系增强;
所述时空双流交互算法具体如下:
,
,
,
,
,
,
,
,
,
,
其中,表示PE函数,表示偶数维度的PE函数,表示奇数维度的PE函数,表示边界框中心坐标,表示特征维度,表示位置编码的维度,表示空间-时间分支路径的输入特征,表示时间-空间分支路径的输入特征,和分别表示空间注意力块和时间注意力块中的PE函数输出特征,和分别表示空间注意力块和时间注意力块中的PE函数,和分别表示空间注意力块和时间注意力块中多头注意力增强特征,表示线性层,表示多头注意力机制层,和分别表示空间注意力块和时间注意力块的最终输出,表示前馈层,表示时间注意力残差子模块,表示空间注意力残差子模块,表示多层感知块,和分别表示空间-时间分支路径和时间-空间分支路径的最终输出特征;
根据空间-时间分支路径和时间-空间分支路径的最终输出特征进行特征融合,以获取关系增强图像特征;
所述文本分支子网络根据预设动作标签获取动作文本特征,再根据轻量化注意力增强模块对所述基础目标群体图像特征进行注意力增强操作,以获取注意力增强图像特征,根据知识蒸馏算法对所述动作文本特征和所述注意力增强图像特征进行信息交互处理,以获取交互文本特征,再根据群体关系调参模块对所述交互文本特征进行特征关系增强和调参操作,以获取关系增强文本特征,所述群体关系调参模块包括关系增强子模块和调参子模块,所述关系增强子模块与所述群体关系增强模块的参数共享;
所述关键点分支子网络对所述目标视频图像进行关键点特征提取,以获取关键点特征,再根据交互模块对所述关键点特征进行交互增强,以获取交互增强关键点特征;
根据所述关系增强图像特征、所述关系增强文本特征和所述交互增强关键点特征,进行群体行为识别,以获取最终分类结果。
2.根据权利要求1所述的基于多模态群体行为识别技术的交互行为识别方法,其特征在于,所述图像分支子网络根据轻量化图像特征处理模块对所述目标视频图像进行特征提取,获取基础目标群体图像特征的步骤,具体包括:图像分支子网络包括轻量化图像特征处理模块,所述轻量化图像特征处理模块包括轻量化网络层和边界框特征对齐块;
所述轻量化网络层中包括深度可分离卷积块、倒残差块和挤压激励块,以进行基础特征提取,并根据空间缩放算法进行特征图边界框坐标调整,所述特征图边界框坐标调整的算法关系具体如下:,
,
所述边界框特征对齐块对调整后的边界框坐标和提取的基础特征进行对齐操作,以获取基础目标群体图像特征。
3.根据权利要求1所述的基于多模态群体行为识别技术的交互行为识别方法,其特征在于,所述文本分支子网络根据预设动作标签获取动作文本特征,再根据轻量化注意力增强模块对所述基础目标群体图像特征进行注意力增强操作,以获取注意力增强图像特征的步骤,具体包括:文本分支子网络根据文本提示模块对预设动作标签进行文本提示增强,以获取增强动作标签,再根据文本编码块对所述增强动作标签进行特征生成,以获取动作文本特征;
获取基础目标群体图像特征后,根据轻量化注意力增强模块进行注意力增强操作,所述轻量化注意力增强模块包括传统自注意力层和迁移注意力层;
根据所述传统自注意力层获取多头注意力的注意力分数,获取所述注意力分数的具体算法如下:,
其中,表示多头注意力的注意力分数,表示查询矩阵,表示键矩阵,表示转置,表示位置编码的维度;
对所述注意力分数进行线性变换,所述线性变换的具体算法如下:,
其中,表示线性变换后的注意力分数,表示线性变换;
将线性变换后的注意力分数输入迁移注意力层,以获取注意力增强图像特征,所述获取注意力增强图像特征的具体算法如下:,
,
其中,表示迁移注意力层的输出特征,表示激活函数,表示值矩阵,表示注意力增强图像特征,表示矩阵乘法,表示传统自注意力层的输出特征。
4.根据权利要求1所述的基于多模态群体行为识别技术的交互行为识别方法,其特征在于,所述根据知识蒸馏算法对所述动作文本特征和所述注意力增强图像特征进行信息交互处理,以获取交互文本特征,再根据群体关系调参模块对所述交互文本特征进行特征关系增强和调参操作,以获取关系增强文本特征的步骤,具体包括:根据知识蒸馏算法对动作文本特征和注意力增强图像特征进行信息交互处理,所述信息交互处理的具体算法如下:,
,
,
其中,表示对动作文本特征进行信息交互处理,表示对注意力增强图像特征进行信息交互处理,表示待处理的动作文本特征,表示待处理的注意力增强图像特征,表示特征序数,表示知识蒸馏训练对总数,表示知识蒸馏训练对序数,表示余弦相似度函数,表示转置,是可学习的温度参数,取值区间为[0,1],初始化是0.5;
根据KL散度算法进行知识蒸馏损失计算,所述知识蒸馏损失计算的具体算法如下:,
,
其中,表示知识蒸馏损失,表示KL散度算法,表示预测概率,表示真实度;
根据群体关系调参模块进行特征关系增强和调参操作,以获取关系增强文本特征,所述调参操作的具体算法如下:,
其中,表示最终输出参数,表示初始参数,表示影响因子,和表示正态分布的随机初始化矩阵,表示群体关系调参模块的输入特征。
5.根据权利要求1所述的基于多模态群体行为识别技术的交互行为识别方法,其特征在于,所述关键点分支子网络对所述目标视频图像进行关键点特征提取,以获取关键点特征的步骤,具体包括:关键点分支子网络中包括关键点特征提取模块,所述关键点特征提取模块包括姿态估计网络层和嵌入层;
所述关键点特征提取模块对所述目标视频图像进行关键点特征提取,所述关键点特征提取的算法具体如下:,
其中,表示关键点特征,表示前馈层,表示级联函数,表示不同关节类型的特征向量,表示归一化和标准化后的空间位置编码,表示绝对位置编码。
6.根据权利要求1所述的基于多模态群体行为识别技术的交互行为识别方法,其特征在于,所述再根据交互模块对所述关键点特征进行交互增强,以获取交互增强关键点特征的步骤,具体包括:根据交互模块对关键点特征进行交互增强,以获取交互增强关键点特征,所述获取交互增强关键点特征的具体算法如下:,
其中,表示交互增强关键点特征,表示激活函数,表示自注意力增强操作,表示关键点间的交互关系,表示范数函数,表示节点特征,表示特征权重。
7.一种基于多模态群体行为识别技术的交互行为识别系统,其特征在于,包括:采集模块,用于实时采集目标视频图像并进行预处理,将预处理后的所述目标视频图像输入多模态群体行为识别网络,所述多模态群体行为识别网络包括图像分支子网络、文本分支子网络和关键点分支子网络,所述图像分支子网络、文本分支子网络和关键点分支子网络之间的网络结构为相互并行结构;
图像特征处理模块,用于所述图像分支子网络根据轻量化图像特征处理模块对所述目标视频图像进行特征提取,获取基础目标群体图像特征,再根据时空双流交互的群体关系增强模块进行特征关系增强,以获取关系增强图像特征;
所述再根据时空双流交互的群体关系增强模块进行特征关系增强,以获取关系增强图像特征的步骤,具体包括:图像分支子网络包括群体关系增强模块,所述群体关系增强模块包括空间-时间分支路径和时间-空间分支路径;
所述空间-时间分支路径中包括空间注意力残差子模块,所述空间注意力残差子模块包括空间注意力块、多层感知块和残差分路;
所述时间-空间分支路径中包括时间注意力残差子模块,所述时间注意力残差子模块包括时间注意力块、多层感知块和残差分路;
所述群体关系增强模块基于时空双流交互算法进行特征关系增强;
所述时空双流交互算法具体如下:
,
,
,
,
,
,
,
,
,
,
其中,表示PE函数,表示偶数维度的PE函数,表示奇数维度的PE函数,表示边界框中心坐标,表示特征维度,表示位置编码的维度,表示空间-时间分支路径的输入特征,表示时间-空间分支路径的输入特征,和分别表示空间注意力块和时间注意力块中的PE函数输出特征,和分别表示空间注意力块和时间注意力块中的PE函数,和分别表示空间注意力块和时间注意力块中多头注意力增强特征,表示线性层,表示多头注意力机制层,和分别表示空间注意力块和时间注意力块的最终输出,表示前馈层,表示时间注意力残差子模块,表示空间注意力残差子模块,表示多层感知块,和分别表示空间-时间分支路径和时间-空间分支路径的最终输出特征;
根据空间-时间分支路径和时间-空间分支路径的最终输出特征进行特征融合,以获取关系增强图像特征;
文本特征处理模块,用于所述文本分支子网络根据预设动作标签获取动作文本特征,再根据轻量化注意力增强模块对所述基础目标群体图像特征进行注意力增强操作,以获取注意力增强图像特征,根据知识蒸馏算法对所述动作文本特征和所述注意力增强图像特征进行信息交互处理,以获取交互文本特征,再根据群体关系调参模块对所述交互文本特征进行特征关系增强和调参操作,以获取关系增强文本特征,所述群体关系调参模块包括关系增强子模块和调参子模块,所述关系增强子模块与所述群体关系增强模块的参数共享;
关键点特征处理模块,用于所述关键点分支子网络对所述目标视频图像进行关键点特征提取,以获取关键点特征,再根据交互模块对所述关键点特征进行交互增强,以获取交互增强关键点特征;
分类模块,用于根据所述关系增强图像特征、所述关系增强文本特征和所述交互增强关键点特征,进行群体行为识别,以获取最终分类结果。
8.一种存储介质,其特征在于,所述存储介质存储一个或多个程序,该程序被处理器执行时实现如权利要求1-6任一项所述的基于多模态群体行为识别技术的交互行为识别方法。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,其中:所述存储器用于存放计算机程序;
所述处理器用于执行所述存储器上所存放的计算机程序时,实现权利要求1-6任一项所述的基于多模态群体行为识别技术的交互行为识别方法。