欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202010557372X
申请人: 湖南大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于强化学习的对抗性视频时刻检索方法,其特征在于,包括:

S1:输入完整视频v和查询语句q作为强化学习代理的环境信息;

S2:提取所述环境信息的查询语句特征fq、全局视频特征fg、位置特征It和与所述位置特征It对应的局部视频特征fIt构成当前的视频时刻片段的状态st=[fq,fg,It,fIt],其中,t为时间步骤,位置特征It为初始的时序边界It;

S3:所述强化学习代理根据所述状态st作出在所述时序边界It移动的动作at,获取执行所述动作at的奖励rt以及根据所述奖励rt输出若干个更新的时序边界It+1和与所述时序边t+1 t+1界I 对应的局部视频特征fI ,重新构成当前的视频时刻片段的状态s',此时,所述时序边界It+1为更新后当前的视频时刻候选片段;

S4:通过贝叶斯个性化排序方法对所述时序边界It和所述查询语句q进行匹配,输出匹配分值,并将所述匹配分值作为奖励rt返回所述强化学习代理;

S5:所述强化学习代理和所述贝叶斯个性排序方法通过对抗学习相互增强,直到收敛,得到对应所述查询语句q的视频时刻片段I=(Is,Ie),其中,Is为视频起始时刻,Ie为视频结束时刻。

2.根据权利要求1所述的基于强化学习的对抗性视频时刻检索方法,其特征在于,在步骤S3中,还包括:通过深度确定性策略梯度算法更新所述强化学习代理以输出若干个更新的时序边界It+1,所述深度确定性策略梯度算法由评论家网络、演员网络、评论家网络参数滞后网络以及演员网络参数滞后网络构成,所述评论家网络根据所述奖励rt判断所述动作at是否为最优动作,所述演员网络用于执行所述最优动作以获得更新的时序边界lt+1,所述评论家网络参数滞后网络以及所述演员网络参数滞后网络通过软更新方法更新各自滞后网络的参数。

3.根据权利要求2所述的基于强化学习的对抗性视频时刻检索方法,其特征在于,所述评论家网络通过最小化损失函数L来学习与最优策略π对应的动作值函数Q(s,a):L(ω)=Es,a,r,s'~M[(Q(s,a|ω)-r+γmaxQ*(s',a'|ω*))2]其中,Q(s,a)是所述评论家网络的动作值函数,ω是所述动作值函数Q(s,a)的变化参数,γ是所述动作值函数Q(s,a)的折扣因子,用于平衡所述奖励rt和所述动作值函数Q(s,a)的预估值之间的重要性,Q*是预设的参数滞后网络,ω*是Q*的变化参数,[s,a,r,s']均从记忆库M中采样获得,以从过去的经验中获得启示,s是未更新的视频时刻片段的状态,a是未更新的动作,a'是更新后的动作,当所述动作值函数Q(s,a)最逼近所述最优策略π时,所述强化学习代理将获得最大奖励。

4.根据权利要求3所述的基于强化学习的对抗性视频时刻检索方法,其特征在于,所述演员网络执行动作a=π(s;θ)更新所述时序边界It,通过损失函数J求所述动作值函数Q(s,a)增大方向的导数,以使所述动作值函数Q(s,a)取得最大值,求导后的策略梯度为:其中,μ为确定性策略梯度,θ为所述确定性策略梯度μ的参数。

5.根据权利要求1所述的基于强化学习的对抗性视频时刻检索方法,其特征在于,在步骤S4中,包括:S41:所述查询语句q包括标记的真实视频时刻τ=(τs、τe),提取所述查询语句q、时序边界It和真实视频时刻τ的特征,其中,τs为标记的真实视频起始时刻,τe为标记的真实视频结束时刻;

S42:通过预设公共空间以及所述查询语句q的特征、时序边界It的特征和所述真实视频时刻τ的特征获取所述查询语句q的映射函数、时序边界It的映射函数以及所述真实视频时刻τ的映射函数;

S43:通过元素级乘法、元素级加法和全连接获取所述查询语句q的映射函数和所述时序边界It的映射函数结合函数以及所述查询语句q的映射函数和所述真实视频时刻τ的映射函数结合函数;

S44:根据所述查询语句q的映射函数和所述时序边界It的映射函数结合函数以及根据所述查询语句q的映射函数和所述真实视频时刻τ的映射函数结合函数,输出更新的时序边界It中接近所述真实视频时刻τ的匹配分值。

6.根据权利要求5所述的基于强化学习的对抗性视频时刻检索方法,其特征在于,在步骤S5中,包括:S51:获取所述时序边界和所述真实视频时刻τ的交并比;

S52:根据所述交并比及所述查询语句q和所述时序边界It的映射函数得出联合损失函数;

S53:通过所述贝叶斯个性化排序方法的损失结合所述联合损失函数得出所述最大奖励r;

S54:通过所述强化学习代理输出所述最大奖励时的时序边界I=(Is,Ie),其中,Is为视频起始时刻,Ie为视频结束时刻。

7.根据权利要求1所述的基于强化学习的对抗性视频时刻检索方法,其特征在于,所述强化学习代理的参数θ和所述贝叶斯个性化排序方法的参数 公式为:其中,K为所述更新的所述时序边界的总数量,Lsc为所述查询语句q的映射函数和所述真实视频时刻τ的映射函数结合函数。

8.一种基于强化学习的对抗性视频时刻检索装置,其特征在于,所述装置包括:

输入模块,所述输入模块用于输入完整视频v和查询语句q作为强化学习代理的环境信息;

提取特征模块,所述提取特征模块用于提取所述环境信息的查询语句特征fq、全局视频特征fg、位置特征It和与所述位置特征It对应的局部视频特征fIt构成当前的视频时刻片段t t t t t的状态s=[fq,fg,I ,fI],其中,t为时间步骤,位置特征I为初始的时序边界I;

候选集生成模块,所述候选集生成模块用于根据所述状态st作出在所述时序边界It移动的动作at,获取执行所述动作at的奖励rt以及根据所述奖励rt输出若干个更新的时序边界It+1和与所述时序边界It+1对应的局部视频特征fIt+1,重新构成当前的视频时刻片段的状态s',此时,所述时序边界It+1为更新后当前的视频时刻候选片段;

贝叶斯个性化排序鉴别模块,所述贝叶斯个性化排序鉴别模块用于对所述时序边界It和所述查询语句q进行匹配,输出匹配分值,并将所述匹配分值作为奖励rt返回所述强化学习代理;

对抗学习模块,所述对抗学习模块用于所述候选集生成模块和所述贝叶斯个性化排序鉴别模块通过对抗学习相互增强,直到收敛,得到对应所述查询语句q的视频时刻片段I=(Is,Ie),其中,Is为视频起始时刻,Ie为视频结束时刻。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。