1.一种视频裁剪方法,其特征是,包括:通过视频自动裁剪模型的显著性区域预测模块对原始视频进行显著性区域预测,生成中间结果显著图;
通过视频自动裁剪模型的输出模块对中间结果显著图进行映射,预测出裁剪框的中心位置;
根据原始视频的宽高比计算出裁剪框的尺寸;和分别为原始视频的宽度和高度;
根据裁剪框的中心位置和裁剪框的尺寸计算出裁剪框的左下角坐标和右上角坐标;
根据裁剪框的中心位置、裁剪框的尺寸、裁剪框的左下角坐标和右上角坐标输出裁剪后的视频;
其中,所述视频自动裁剪模型包括顺次连接的显著性区域预测模块和输出模块;
所述视频自动裁剪模型中的显著性区域预测模块为针对原UAVSal模型中先验知识建模模块进行改进得到的模块,具体改进为针对原UAVSal模型去掉观察先验模块和环境语义先验模块,保留高斯先验模块得到,利用高斯先验模块对中心偏向现象的建模能力提取显著性区域,完成显著性区域的预测;
所述对中间结果显著图进行映射,预测出裁剪框的中心位置包括:将中间结果显著图通过视频自动裁剪模型的输出模块中的多个卷积层映射为一个值,并使用sigmod函数将值映射为裁剪位置系数,所述裁剪位置系数通过以下公式计算获得:,
根据裁剪方向将裁剪位置系数与原始视频的宽度w或高度h相乘,得到裁剪框的中心位置,所述裁剪框的中心位置通过以下公式计算获得:,
式中,为预先设置的视频裁剪框的宽高比,根据预先设置的视频裁剪框的宽高比确定裁剪方向,若原始视频的宽高比大于预先设置的视频裁剪框的宽高比,则裁剪框在水平方向裁剪,竖直方向高度保持不变,否则裁剪框在竖直方向裁剪,水平方向宽度保持不变;
所述裁剪框的尺寸为原始视频在水平或者竖直方向的裁剪长度,所述裁剪框的尺寸通过以下公式计算获得:;
所述裁剪框的左下角坐标和右上角坐标分别通过以下公式计算获得:,
。
2.一种裁剪视频的质量评价方法,其特征是,通过权利要求1所述的视频裁剪方法获得裁剪后的视频,对裁剪后的视频进行质量评价包括如下步骤:基于裁剪后的视频进行内容完整性评估,得到内容完整性评分;
基于裁剪后的视频进行内容一致性评估,得到内容一致性评分;
基于裁剪后的视频进行时序稳定性评估,得到时序稳定性评分;
对内容完整性评分、内容一致性评分和时序稳定性评分进行加权求和,得到最终的质量评价得分;
所述基于裁剪后的视频进行内容完整性评估,得到内容完整性评分包括:通过对中间结果显著图中的每一帧图像的显著值进行累加,得到第帧图像的总体显著值;通过对裁剪框内每一帧图像的显著值进行累加,得到第帧图像的裁剪框显著值;其中,所述显著值用于表示视频中每个像素值所在位置的显著性的强弱;
通过以下公式计算第帧裁剪框内图像的显著值占总体显著值的占比:;
式中,表示从取到,表示从取到,表示行列位置的显著值;为裁剪后的视频总帧数;为视频图像中像素点的长度坐标;为视频图像中像素点的宽度坐标;
将所有图像帧的显著值占比累加起来,然后除以图像帧的总数得到平均显著性占比,作为内容完整性评分,所述内容完整性评分通过以下公式计算获得:;
所述基于裁剪后的视频进行内容一致性评估,得到内容一致性评分包括:对裁剪后的视频的每帧图像尺寸缩放至尺寸,再将缩放后的图像转换为灰度图,对灰度图进行二维离散余弦变换,得到离散余弦变换DCT系数矩阵,所述离散余弦变换DCT系数矩阵通过以下公式计算获得:;
其中,;
上式中,c(u)、c(v) 为归一化系数, 为输入灰度图 中位置 的像素值,为图像的尺寸,和均为离散余弦变换后的频率索引;
令矩阵,提取DCT系数矩阵左上角8×8子块,子块包含了裁剪后视频图像的主要视觉特征,所述子块表达式如下:,
通过以下公式计算子块的均值:
,
式中,表示求均值函数;
将子块中第行第m列的值与均值进行比较,得到第帧图像第行第m列的二进制哈希值,所述二进制哈希值通过以下公式计算获得:;
将第帧图像所有的二进制哈希值串联起来形成一个总长度为64位二进制哈希值,进而得到第帧图像长度处的二进制哈希值 ;
针对每一对相邻帧,通过以下公式计算相邻帧哈希值之间的汉明距离:,
根据相邻帧哈希值之间的汉明距离通过以下公式计算第帧的相似度:;
根据第帧的相似度通过以下公式计算内容一致性得分:;
所述基于裁剪后的视频进行时序稳定性评估,得到时序稳定性评分包括:计算每一帧裁剪框中心位置的横坐标得到裁剪框中心位置的横坐标数组,,其中表示第帧的裁剪框中心位置的横坐标;
通过离散差分法计算每一帧的裁剪框中心位置的横坐标的二阶导数,公式为:,
上式中,i=1,2,……I;
通过计算每一帧的裁剪框中心位置的横坐标的二阶导数,形成一个二阶导数组,所述二阶导数组表达式如下:,
根据二阶导数组通过以下公式计算二阶导数组的标准差:;
式中, 为二阶导数组的平均值;
对标准差使用sigmod函数进行归一化处理,并通过以下公式计算获得时序稳定性评分:;
式中,为常数;
所述对内容完整性评分、内容一致性评分和时序稳定性评分进行加权求和,得到最终的质量评价得分包括:对得到的内容完整性评分、内容一致性评分和时序稳定性评分分别赋予权重、和,通过以下公式进行加权求和得到最终的质量评价得分:。