1.一种基于时空强化学习的跨模态视频时刻定位方法,其特征在于,包括以下步骤:
S01、输入完整视频和查询语句,抽取视频特征和查询语句特征,构建强化学习环境;
S02、基于强化学习环境信息进行时序强化学习并定位视频的时序边界,所述环境信息包括视频全局特征、视频局部特征、定位边界和查询语句特征;
S03、基于所述时序强化学习的定位边界进行空间强化学习,在所述环境中处理空间信息并逐帧追踪相关场景,并用注意力机制过滤无关信息;
S04、根据空间强化学习更新时序强化学习的局部片段特征,使得所述空间强化学习和所述时序强化学习交替训练,直至收敛,得到对应查询语句的视频时刻片段。
2.根据权利要求1所述的基于时空强化的跨模态视频时刻定位方法,其特征在于,所述步骤S02中,所述时序强化学习步骤包括:定义状态为set=[fe,lt,fot,fg],其中fe为查询语句特征、lt为位置特征、fot为所述位置特征相应的空间信息特征,fg为视频全局特征,t是当前时间步;定义时序强化学习智能体的动作Ae,所述动作Ae包括同时向前移动起点、同时向前移动终点、同时向后移动起点、同时向后移动终点、单独向前/向后移动起点和终点、单独向后移动起点和终点以及停止动作;设置所述时序强化学习智能体移动的初始位置为L0=[0.25*n,0.75*n],其中n是视频图像帧的总长度,动作每步的移动大小设置为n/2ze,其中ze为确定的超参数;定义智能体的最大搜索步数;所述时序强化学习智能体从环境中获取所述状态后,执行动作Ae,使用IoU评估后得到每步的奖励。
3.根据权利要求2所述的基于时空强化的跨模态视频时刻定位方法,其特征在于,所述步骤S02中,使用IoU进行评估的公式为:根据IoU的计算结果,定义所述时序强化学习智能体每步移动的奖励ret为:
t t-1
其中,φ为惩罚系数,当IoU大于IoU ,则当前动作将被视为正反馈,奖励为正,否则奖励为零或负,同时减去一个智能体对步数的惩罚。
4.根据权利要求1所述的基于时空强化的跨模态视频时刻定位方法,其特征在于,步骤S03中,所述空间强化学习使用目标跟踪框算法实现观察输入视频帧的空间信息,并输出连续图像帧的空间边界。
5.根据权利要求4所述的基于时空强化的跨模态视频时刻定位方法,其特征在于,步骤S03中,所述目标跟踪框算法包括:定义状态为ssk=[fe,fok,fs],其中fe为查询语句特征,fok为空间信息特征,fs为由时序强化学习定位到的局部视频特征,t是当前时间步;定义空间强化学习智能体的动作,控制局部目标框的移动,所述动作包括左移、右移、上移、下移、放大、缩小、变长、变宽以及停止动作;设置目标跟踪框为b=[x,y,m,n],其中[x,y]是目标跟踪框的中心点,[m,n]是所述目标跟踪框的大小;设置初始位置为b0=[0.25*h,0.25*w,
0.75*h,0.75*w],其中h和w为图像帧的高度和宽度;设置步长为垂直方向的h/2zs和水平方向的w/2zs,其中zs为超参数;所述空间强化学习智能体使用IoU进行评估,得到其奖励函数r为:其中Q值为状态执行动作后获得的期望回报,当更新特征后的Q值(Qo)大于更新前的Q值(Qw),则奖励增加就1,Q值(Qo)不变就0,Q值(Qo)减少则奖励为-1。
6.根据权利要求1所述的基于时空强化的跨模态视频时刻定位方法,其特征在于,步骤S03中使用注意力机制优化特征表达为:其中Wq和Wo是权重矩阵,b是偏置向量,q是权重向量。
7.根据权利要求1所述的基于时空强化的跨模态视频时刻定位方法,其特征在于,步骤S04中通过深度确定性策略梯度算法更新时序强化学习。
8.根据权利要求7所述的基于时空强化的跨模态视频时刻定位方法,其特征在于,步骤S04中所述深度确定性策略梯度算法包括评论家网络、演员家网络、评论家参数滞后保存网络和演员家参数滞后保存网络。
9.根据权利要求8所述的基于时空强化的跨模态视频时刻定位方法,其特征在于,所述评论家网络通过值函数近似用于评估当下动作是否有效,当最优动作的值函数Q(s,a)被视为逼近最优策略π时,所述时序强化学习智能体得到最大期望回报:Qπ(s,a)=Ε[R|st=s,at=a]=Εs'[r+γΕa'~π[Qπ(s',a')]],其中,γ是Q值的折扣因子,用于平衡奖励和预估值之间的重要性,s为当下状态,a为当下动作,t为当前时间步;
所述评论家网络通过最小化损失来学习与最优化最优策略对应的动作值函数Q:
y=r+γmax Q*(s',a'|ω*)
L(ω)=Εs,a,r,s'~M[(Q(s,a|ω)-y)2],
其中,ω为参数,Q是评论家网络的值函数,Q*是评论家参数滞后保存网络的值函数。
10.根据权利要求9所述的基于时空强化的跨模态视频时刻定位方法,其特征在于,所述演员家网络通过执行动作a=π(s;θ)用于更新位置特征lt,并朝着使得值函数Q增大的方向更新策略的参数θ,即对损失函数J求Q值方向的导数,以使得它取得最大值,其求导后的策略梯度如下: