1.一种低光照场景下的视频问答方法,其特征在于由下述步骤组成:(1)视频预处理
采用国际公开的基准数据集NExT‑VQA作为视频数据集,按照7:1:2划分为训练集、验证集、测试集,将给定的视频集合V作为输入,V={v1,v2,…,vn} (1)
对于每一个输入视频vn,n为有限的正整数,采样固定数量的视频片段Pt,Pt∈{P1,P2,...,Pt},t为有限的正整数,用滑动窗口的方式将视频片段Pt划分为固定数量的视频帧m为有限的正整数,按照式(2)对视频vn的视频帧 进行变暗和添加高斯噪声G:
其中,Im表示预处理后的视频帧,α为变暗的系数,取值为[0.4,0.5];
(2)增强低光照视频
1)从视频片段Pt随机抽取视频帧,按照式(3)获得视频帧亮度的平衡值其中,N表示像素的总数,H,W分别表示视频帧的高度和宽度,x,y分别表示视频帧中像素的位置坐标的横坐标和纵坐标,R,G,B分别表示图像的红色、绿色、蓝色的亮度,δ,为模型参数,δ∈[0.05,0.1],
2)按照式(4)调整视频vi的视频片段Pt中的视频帧Im在位置(x,y)处的像素值I(x,y):其中,(x,y)表示视频帧中像素的位置坐标;
3)视频片段Pt满足 Tsd为阈值参数,取值为 其中lmax和lmin分别表示视频帧亮度的最大值和最小值,通过重复下采样和上采样得到不同尺度的图像,按照式(5)获得增强后的图像S′:S′=RL (5)
R=log(1+S)‑H(log(1+S)) (6)其中,L表示视频帧的光照分量,S为采样图像转换为的灰度图像,σ表示高斯函数的方差,x,y表示高斯函数的中心点坐标;
4)采用加权平均方法对增强后的图像进行尺度合成,进行直方图均衡化,得到增强后的视频帧I′t和视频片段P′t,I′t∈{I′1,I′2,...,I′m},m为有限的正整数,P′t∈{P′1,P′2,...,P′t},t为有限的正整数;
(3)构建VF‑enhNeXt网络
VF‑enhNeXt网络由时序编码模块与第一分支模块、第二分支模块、激活函数层、全连接层3、特征融合模块、推理判断模块依次串联构成;所述的第一分支模块由动态学习残差块1与全连接层1串联构成;所述的第二分支模块由动态学习残差块2与归一化层1、动态学习残差块3、归一化层2、动态学习残差块4、全连接层2依次串联构成;
(4)增强视频特征
将增强后的视频片段P′t传递给残差卷积神经网络,分别提取视频空间特征和光流运动特征,通过VF‑enhNeXt网络增强视频特征如下:
1)将视频空间特征沿着时间维度划分为子片段 和 每个子片段的大小为M为批尺寸大小,T为特征的时间维度,C为通道数,M、T、C取值为有限的正整数;
2)使用时序编码模块对每个子片段的时间信息进行编码,复制编码后的子片段,以获得相同的时空特征 和 并将时空特征 和 作为第一分支、时空特征 和作为第二分支;
3)在第一分支中,使用第一分支模块沿着通道维度连接子片段的所有特征,得到第一个分支结果
4)在第二分支中,使用第二分支模块叠加时空特征 和 中相同的时空特征,得到时空特征 和 沿着通道维度连接时空特征 和 的所有特征,得到第二个分支结果
5)使用Sigmoid函数生成自适应的区分权重 其中d是输入特征的数量,a
按式(8)得到增强特征结果F:
其中,⊕表示逐元素相加,⊙表示逐元素相乘,Sigmoid(·)为S型激活函数,Conv1d(·)为一维卷积,k为卷积核大小;
(5)训练VF‑enhNeXt网络
1)构建损失函数
按式(10)构建损失函数Ls:
其中,K表示候选答案个数,pw与 分别表示原视频样本与增强视频样本中不正确选项的得分,pr与 分别表示原视频样本与增强视频样本中正确选项的得分;
2)训练VF‑enhNeXt网络
将训练集的视频空间特征和光流运动特征送入到VF‑enhNeXt网络中进行训练,在训练‑5 ‑3过程中,学习率为γ∈[10 ,10 ],优化器采用Adam优化方法,迭代至损失函数收敛;
(6)验证VF‑enhNeXt网络
将验证集的视频空间特征和光流运动特征输入到训练好的VF‑enhNeXt网络中进行验证;
(7)测试VF‑enhNeXt网络
将测试集的视频空间特征和光流运动特征输入到训练好的VF‑enhNeXt网络中进行测试,加载保存的权重文件,得到答案。
2.根据权利要求1所述的低光照场景下的视频问答方法,其特征在于:在步骤(3)构建VF‑enhNeXt网络中,所述的时序编码模块由卷积层与双层时序注意力模块、归一化层依次串联构成,卷积层的卷积核大小为3×3步长为1。
3.根据权利要求1所述的低光照场景下的视频问答方法,其特征在于:在步骤(3)构建VF‑enhNeXt网络中,所述的动态学习残差块由卷积核大小为1×1步长为1的卷积层1与逐通道卷积层、卷积核大小为3×3长为1的卷积层2、激活函数层、卷积核大小为1×1长为1的卷积层3、全连接层依次串联构成;逐通道卷积层的卷积核大小为3x3、步长为2、填充数目为1、分组数为当前通道数。
4.根据权利要求1所述的低光照场景下的视频问答方法,其特征在于:在步骤(2)增强低光照视频的式(3)中,所述的δ,为模型参数,δ∈[0.05,0.1],
5.根据权利要求1或4所述的低光照场景下的视频问答方法,其特征在于:在步骤(2)增强低光照视频的式(3)中,所述的δ,为模型参数,取值为1.475,δ取值为0.0526。
6.根据权利要求1所述的低光照场景下的视频问答方法,其特征在于:在步骤(4)增强视频特征的1)步骤中,将视频空间特征沿着时间维度划分为子片段 和 每个子片段的大小为 M为批尺寸大小,T为特征的时间维度,C为通道数,M取值为8、T取值为
16、C取值为3。
7.根据权利要求1所述的低光照场景下的视频问答方法,其特征在于:在步骤(5)训练‑5VF‑enhNeXt网络的2)训练VF‑enhNeXt网络步骤中,所述的训练参数学习率为γ∈[10 ,10‑3],优化器采用Adam优化方法,迭代至损失函数收敛。
8.根据权利要求1或7所述的低光照场景下的视频问答方法,其特征在于:在步骤(5)训‑4练VF‑enhNeXt网络的2)训练VF‑enhNeXt网络步骤中,所述的训练参数学习率为γ为10 ,优化器采用Adam优化方法,迭代至损失函数收敛。