欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023105598862
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合场景先验知识的多模态航拍视频车辆目标跟踪方法,其特征在于,包括以下步骤:步骤一、关联感兴趣区域提取:

将航拍视频转换为视频帧,利用目标检测算法获取每帧中车辆目标检测框,统计目标检测框数量,获取所有目标检测框中心横纵坐标、检测框宽度、检测框长宽比;保存每帧带检测框的全局图片,按照目标检测框将每帧中的所有车辆目标裁剪出,按帧号保存为局部图片,获取该目标前车、后车、左前车、左车、左后车、右前车、右车、右后车检测框,定义此8个检测框的最小外接矩形为关联感兴趣区域,记录关联感兴趣区域的位置信息;

步骤二、局部图片边缘检测:

对所有局部图片计算算子,获得二值化的边缘图后,去除伪边缘,获得更为准确的边缘图,从边缘图中提取所有局部图片的前挡风玻璃边缘、天窗边缘、后挡风玻璃边缘,确定前挡风玻璃区域、天窗区域、后挡风玻璃区域,计算前挡风玻璃面积、天窗面积、后挡风玻璃面积,计算面积特征值,公式如下式所示:,

步骤三、局部图片主色提取:

根据步骤二中的前挡风玻璃区域、天窗区域、后挡风玻璃区域确定采样区域,规定采样区域为从局部图片抠除前挡风玻璃区域、天窗区域、后挡风玻璃区域之外的区域的所有像素点;在采样区域内均匀采样,获取数个采样像素点,将所有采样像素点的值分别取平均值得到值,然后将空间转换为空间,获取色调值和饱和度值,组成该局部图片的色彩特征向量;

步骤四、计算外观权重向量:

读取下一帧,将步骤一中的关联感兴趣区域范围内的所有目标定义为关联感兴趣目标,包括部分处于感兴趣区域内的目标,对所有关联感兴趣目标重复步骤二、步骤三操作,获取其色彩特征向量,计算其与局部图片的色彩特征向量的余弦距离,获得9个余弦距离,记为九维向量并进行归一化操作,将此九维向量定义为外观权重向量:,

式中,分别为关联感兴趣目标与局部图片的色彩特征向量的余弦距离;

若某一周围车辆不存在,则该项的余弦距离记为0;

步骤五、构建场景先验信息库:

车辆场景先验信息包括:道路结构、交通流密度、天气情况,根据道路结构建立几何约束,根据交通流密度和天气情况构建速度约束,并进行量化;

步骤六、下一帧目标状态变量预测:

依据步骤五的场景先验信息库的输出,构建融合约束的卡尔曼滤波器,依据当前帧目标状态变量,预测下一帧目标状态变量;

所述的卡尔曼滤波器的状态变量为:

,

式中,为检测框中心横坐标,为检测框中心纵坐标,为检测框长宽比,为检测框宽度,为面积特征值,为检测框中心横坐标变化速度,为检测框中心纵坐标变化速度;

步骤七、目标关联结果输出:

根据步骤六获得的下一帧目标状态变量,计算其与关联感兴趣目标的状态变量之间的马氏距离:,

式中,为下一帧目标状态变量,为关联感兴趣目标状态变量,为多维随机变量的协方差矩阵;

结合步骤四中的外观权重向量,计算多模态关联权重:,

式中,为多模态关联权重,为外观权重向量;

选取多模态关联权重最高的关联感兴趣目标,作为关联结果,输出关联结果;

重复步骤一,更新关联感兴趣区域,重复步骤二至步骤七,继续关联其余视频中的车辆目标,输出所有目标的关联结果。

2.根据权利要求1所述的一种融合场景先验知识的多模态航拍视频车辆目标跟踪方法,其特征在于:步骤三中空间转换为空间的转换公式如下:,

,

,

式中,分别为采样像素点R,G,B通道亮度值的平均值,分别为归一化后的亮度值,三者中的最大值,三者中的最小值,的差值,色彩空间中的色调,色彩空间中的饱和度。

3.根据权利要求1所述的一种融合场景先验知识的多模态航拍视频车辆目标跟踪方法,其特征在于:步骤五构建场景先验信息库包括以下步骤:(1)道路结构方面,考虑三种道路结构:无匝道城市快速路、有匝道城市快速路、环岛;将像素坐标转换为真实坐标,建立道路结构表达式:对于快速路直线段拟合一次多项式;对于快速路匝道段,对入口及出口处使用水平圆弧曲线进行拟合,对匝道中段使用缓和曲线进行拟合;对于环岛,根据内圈半径及外圈半径拟合内圈圆形曲线和外圈圆形曲线;

获取道路结构的数学表达式后,对车辆位置坐标进行约束,使用均方误差法建立道路几何约束;

(2)交通流密度方面,当道路上车辆数量增多时,由于车辆之间的纵向距离减小,车辆起步和刹车所需时间会逐车累积,造成通行效率降低,平均车速降低,通过统计全局图片中检测框数量,定义交通流密度影响因数,获取目标跟踪中的速度约束,公式如下式所示:,

式中,为交通流量影响因数,为速度约束的常数平衡系数,为检测框数量;

(3)天气情况方面,将天气情况作用于车辆行驶的影响量化为能见度与路面附着系数,定义能见度影响因数和附着系数影响因数,依此定义天气影响因数:,

式中,为天气影响因数,为天气影响因数的常数平衡系数,为能见度影响因数,为附着系数影响因数;

结合交通流密度影响因数和天气影响因数,得到速度影响权重表达式:,

式中,为速度影响权重。

4.根据权利要求1所述的一种融合场景先验知识的多模态航拍视频车辆目标跟踪方法,其特征在于:步骤六中依据场景先验信息库构建融合约束的卡尔曼滤波器过程如下:(1)状态转移方程为:,初始化为:

,

式中,为下一帧状态变量的预测值,为状态转移矩阵,为当前帧状态变量,为过程误差向量;

(2)测量方程为:,初始化为:

,

式中,为观测变量,为观测矩阵,为当前帧状态变量,为测量误差向量;

(3)道路结构约束式为:,

式中,B是设计矩阵,D是常向量;

(4)修正的预测状态值为:,

式中,为下一帧状态变量预测值的修正值,的期望,B为设计矩阵,D为常向量;

(5)预测状态向量的协方差方程为:,

式中,为预测状态向量协方差,F为状态转移矩阵,为当前帧状态向量协方差,为速度影响权重,用以融入速度约束,为过程噪声协方差矩阵,用以表示状态估计过程与实际过程之间的误差;

(6)卡尔曼增益为:,

式中,为预测状态向量协方差,为观测矩阵;

(7)状态更新方程为:,

式中,为后验状态估计值,为先验状态估计值,为卡尔曼增益,为观测矩阵,为测量值;

(8)状态更新向量协方差方程为:

,

式中,为卡尔曼增益,为观测矩阵,为状态向量协方差,为协方差;

依据当前帧目标状态变量,通过上述步骤预测下一帧目标状态变量。