1.一种基于行车记录仪视频的车端视角事故场景还原方法,其特征在于,包括以下步骤:步骤一、对事故视频进行预处理;
利用高效多级降噪算法对视频进行降噪处理,利用实时中间流估计算法对视频进行补帧增强;
步骤二、对场景进行语义理解;
以DeepLabV3Plus算法作为语义特征提取器,对视频逐帧处理以获取场景多帧语义图像,通过边缘检测算法提取多帧像素道路边界,并以此为基础划分目标检测算法主要关注区域及背景区域,并在语义信息基础上配合运动一致性检查算法获取动态区域及动态语义掩码;
步骤三、对交通参与者像素轨迹进行提取;
通过改进的YOLOV8算法与DeepSORT算法之间的协同配合,在稳健识别关键交通参与者的基础上对其进行逐帧关联,实现交通参与者像素轨迹精确提取任务;
步骤四、对逆透视映射参数进行联合校准;
设计基于几何显著性特征束调整的车端动态场景逆透视映射参数联合校准算法,首先对图像的特征信息进行提取,然后进行光流修正预测、置信度更新以获取用于前端因子图构建的关键图像帧及用于后端因子图优化的中间量,进而在前端进程中初始化并构建因子图,最后在后端进程中利用几何显著性特征束调整实现参数的联合迭代校准;
步骤五、进行逆透视变换;
将关键交通参与者像素轨迹及道路像素轮廓映射至世界坐标系下以用于后续场景数据处理;
步骤六、对道路轮廓及轨迹数据进行后处理;
设计基于像素道路边界映射强度的道路轮廓提取方法及包括缺失轨迹预测、波动轨迹平滑、异常轨迹约束在内的系统化轨迹数据后处理流程对数据质量作进一步提升,以保证场景关键信息提取的准确性与可应用性;
其中,所述步骤四的具体方法如下:
41)通过场景语义理解获取图像的动态语义掩码,以掩码遮蔽后的图像对P=(Ii,Ij)作为输入,经过特征编码器获取相邻帧的特征信息并进行相关性计算,同时得到初始光流,利用相关性编码器及光流编码器对相关性及光流分别进行编码,同时通过上下文编码器获取上下文信息,用于后续光流修正预测及像素点置信度更新;
42)在参数迭代优化过程中需要不断正确更新光流变化量及像素置信度权重,确保后端参数联合校准算法不断求解最优参数值,根据相机内参gk、相机位姿pk、深度dk由式(4)计算图像Ii中像素点ui到图像Ij中像素点uij=π(pij·π-1(ui,di,g),g) (4)
式中,pij=pj·pi-1为两帧图像间相机的相对位姿;π(·)为相机由3D世界坐标向2D像素坐标的映射关系;π-1(·)为2D像素坐标向3D世界坐标的逆投影过程,将行车记录仪建模为统一相机模型并引入畸变因子α,使得在参数校准过程中算法能够适用于不同相机类型以及不同程度畸变失真的单目视频,如式(5)所示:式中,X(x,y,z)∈R3为3D世界坐标;α为畸变因子;fx、fy为相机焦距;u0、v0为相机主点,且在每次迭代过程中,上下文信息、光流、图像Ij中像素点及相关性传入到时空卷积网络当中,时空卷积网络在时序上对信息进行整合并利用不同的卷积层分别预测光流的变化值△uij及相应的置信度权重wij,利用光流变化值选取视频中具有足够运动的关键帧作为前端因子图构建的输入部分,与此同时,光流变化值及像素点的置信度权重用于后端因子图优化进程,此外每次迭代过程时空卷积网络将输入的隐状态hijk更新为hijk+1;
43)通过构建图模型的方式将参数联合校准过程转换为图优化问题,利用因子图的迭代优化过程不断求解最优参数值,因子图是包含一系列节点与因子的有向无环图,节点表示待校准参数的变量值,因子fij表示一对图像(Ii,Ij)的误差关联项,即校准参数间的约束关系;
前端进程中因子图构建流程如下:利用关键图像帧的特征信息为因子图添加相邻帧的边以及基于距离的边并进行因子图更新,进而移除因子图中的冗余边并再次进行因子图更新,以此得到用于后端优化的因子图;
44)将几何显著性特征束调整融入到后端因子图优化进程当中,以特征点的显著性来表达几何凝视实况并改进迭代优化过程中重投影误差的成本函数,具体如下:挖掘图像中几何特征区域的边缘特征点及特征线,并在特征点及特征线位置进行掩码填充,获取单帧图像Ii对应的初始显著性图像SIi,利用式(6)计算考虑像素深度di修正后的显著性图像Si:式中,a、b为避免场景显著性区域较小使得特征信息不足进而导致后端参数优化校准进程失效而设置的常数修正因子;
以前端进程构建的因子图、流量修正预测值△uij、像素点置信度权重wij及上次迭代参数gk、pk、dk作为输入,后端进程通过最小化成本函数E(g,p,d)得到更新的最优参数值gk+1、pk+1、dk+1,成本函数代表了所有关键帧像素点重投影误差的和,将显著性图像Si归一化处理后得到的像素点显著性si融入到成本函数中,如式(7)所示:式中,i、j为图像关键帧的索引;∑ij=diag(wij);fij为因子的误差关联项,由式(8)进行计算:fij=uij-π(pij·π-1(ui,di,g),g) (8)
式中,为经过光流修正预测的像素坐标值;
后端进程的优化目标即如式(9)所示,通过参数的联合校准进程获取待校准的参数值:式中,为联合校准进程中优化后的参数值;
后端进程采用经典的高斯牛顿步骤作为优化方式,如式(10):
JTWJ△ξ=JTWf (10)
式中,f为来自式(8)的优化残差;J为残差的雅可比矩阵;W为所有图像置信度权重组成的对角矩阵;△ξ=(△g,△p,△d)是校准参数的更新量。
2.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法,其特征在于,所述步骤一的具体方法如下:
11)采用高效多级降噪算法对视频进行处理,通过时间融合、空间去噪、时空细化三个处理阶段,对输入视频进行降噪;
12)利用实时中间流估计算法对视频进行补帧增强,通过输出近似中间流后进行后向变形及融合实现中间帧图像的精准预测。
3.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法,其特征在于,所述步骤二的具体方法如下:
21)选取引入空洞卷积结构的DeepLabV3Plus算法作为语义特征提取器;
22)通过特征提取器对视频逐帧处理以获取场景多帧语义图像,通过边缘检测算法提取多帧像素道路边界,以像素道路边界为界限划分目标检测算法主要关注区域及背景区域;
23)采用运动一致性检查算法并配合语义信息获取图像动态区域的语义掩码,流程如下:在语义信息中不同交通参与者将被分配不同的颜色,将交通参与者轮廓视为待运动检查的候选区域,首先检测第一帧图像中待运动检查候选区域内的特征点,计算光流金字塔获取第二帧中待运动检查区域内与第一帧相匹配的特征点,利用随机抽样一致算法计算特征点间的基础矩阵及极线,并计算匹配特征点距离极线的距离,若大于设定的阈值则表明该特征点在运动,若某个待运动检查区域内的运动特征点大于特征点总数的某一百分比阈值,则将其视作运动区域,至此完成第一帧图像中动态区域语义掩码的获取任务,直至处理完成视频的所有帧;
基础矩阵用于将第一帧中的特征点映射到第二帧对应的搜索域即极线,假设p1和p2分别为第一帧和第二帧中相匹配的特征点,则由如式(1)所示的齐次坐标形式进行表达:P1=(u1,v1,1),P2=(u2,v2,1) (1)
式中,u、v为图像中像素值;
进而由式(2)计算极线Im:
Im=(xm,ym,zm)T=FmP1 (2)
式中,xm、ym、zm为线向量;Fm为基础矩阵;
进而即由式(3)计算匹配特征点到对应极线的距离Dm:
式中,Dm为匹配特征点到对应极线的距离。
4.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法,其特征在于,所述步骤三的具体方法如下:
31)以YOLOV8算法为基础,引入全局注意力机制优化YOLOV8算法骨干网络,并利用ASPP模块优化算法特征金字塔,以此得到视频的目标检测器;
利用上述构建的目标检测器,在特征提取基础上进行预测生成进而得到交通参与者检测结果,与此同时将场景语义理解得到的主要关注区域融入到算法检测过程以排除场景中的无效背景干扰;
32)在目标检测算法基础上配合DeepSORT算法,通过交通参与者运动估计后生成轨迹进而得到数据关联结果,即将同一车辆的跨帧检测结果进行关联并为其赋予唯一ID,以此形成连续的交通参与者像素轨迹数据。
5.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法,其特征在于,所述步骤五的具体方法如下:
51)利用式(11)将像素坐标点Pi(u,v)映射至世界坐标点Pw(Xw,Yw,Zw),即将关键交通参与者像素轨迹及道路像素轮廓映射至世界坐标系:式中,R、T分别为相机的旋转矩阵及平移向量;di为对应于像素点Pi的深度值。
6.根据权利要求1所述的一种基于行车记录仪视频的车端视角事故场景还原方法,其特征在于,所述步骤六的具体方法如下:
61)设计一种融合多帧信息并基于像素道路边界映射强度的道路轮廓提取方法,即通过逆透视变换模块后能够获取世界坐标下的多帧道路轮廓坐标点wi(i=1,2,…,n),排除异常值后将所有帧的wi映射至同一坐标系中,以此构建多帧信息融合后的像素道路边界映射强度分布,强度值大小代表了像素道路边界映射至不同坐标的概率,强度值大的坐标具有更高的实际道路轮廓置信度,进而将映射强度分布图拆解为若干个独立的子区域以作为离散道路轮廓提取的候选区域,对于每个候选区域分别沿x、y方向计算坐标点密度,以两个方向的密度曲线为基础提取候选区域中置信度最高的道路轮廓边界线,并利用SG算法对提取后的轮廓拟合,以此得到完整且准确的道路轮廓;
62)设计一种系统化的轨迹数据后处理流程,首先是缺失轨迹预测及波动轨迹平滑处理过程,以离散世界坐标点wt为基础进行傅里叶级数拟合,利用KD-Tree算法全局搜索并匹配前后断点轨迹,利用Kalman算法对缺失轨迹进行预测,算法包括预测及更新两部分,对于具有观测值的轨迹部分,算法执行预测及更新的完整过程,对于不具有观测值的缺失轨迹部分,算法仅对状态进行预测而不执行更新过程,将预测值作为该时刻下的最优轨迹点,获取交通参与者完整时序轨迹数据后,利用SG算法对时序轨迹进行拟合,以进一步增强其对真实轨迹时序趋势的表征能力;
进而是异常轨迹约束过程,基于车辆在道路轮廓约束区域内行驶的基本事实,利用道路轮廓对车辆行驶轨迹进行修正约束,以车辆时序轨迹点为中心沿轨迹切线方向添加宽为w长为l的矩形边界框以代表车辆大小,宽度w及长度l可根据不同的车辆类型估算,在实际行驶过程中矩形边界框不应超过道路边界,将矩形框超出边界的轨迹点沿原有切线方向朝着道路边界内侧进行修正处理;
至此,完成了事故场景还原的完整过程,得到了包含交通参与者轨迹及道路轮廓在内的场景时空信息。