欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024119344781
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 测量;测试
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于视觉增强现实的车辆在环测试方法,其特征在于,包括以下步骤:步骤一、利用RT3002和千寻定位RTK服务构建一个定位与运动信息采集系统;

步骤二、使用ROS中的时间同步机制,同步采集车载相机的图像信息及对应的车辆运动信息;

步骤三、利用相机的初始外参信息,结合同步采集的运动信息,计算每一时刻相机的具体位置和姿态或位姿;

步骤四、将计算出的相机位姿信息同步输入到仿真软件中,设计虚拟相机的相机参数与真实相机一致,生成与真实相机时间和空间上完全一致的虚拟相机输出;

步骤五、以真实采集的相机图像作为背景,以虚拟仿真相机提供的交通参与者为前景,通过图像融合算法,生成增强现实视角下的融合图像;

步骤六、将融合图像输入车辆的感知层进行处理,以测试感知层对真实场景与虚拟动态元素融合场景的感知能力和对复杂环境的适应能力;融合图像通过保留真实世界的背景细节,并叠加虚拟环境中的动态交通参与者,完整复现了真实驾驶场景,使得感知层能够准确评估动态环境下的物体识别与跟踪性能;感知结果随后传递至决策控制层,生成相应的决策指令并发送至车辆的执行机构,车辆根据这些指令调整运动状态,同时新的运动信息再次被高精度信息采集系统捕捉,确保车辆行为与感知决策的闭环一致性;

其中,所述步骤五的具体方法如下:

51)设计包含太阳阴影的虚拟交通参与者的图像提取方法;

52)对真实相机采集的背景图和虚拟仿真世界的交通参与者图像进行图像融合;

所述步骤51)的具体方法如下:

511)根据实验场地的经纬度与试验时刻来计算当时的太阳高度角与太阳方位角,从而在虚拟仿真世界中获取与真实世界一致方位的太阳阴影;

太阳角度角计算公式:

h=arcsin(sin(φ)·sin(δ)+cos(φ)·cos(δ)·cos(H))太阳方位角的计算由下式计算:

式中,φ为观察点的纬度;δ为太阳的赤纬角;H为太阳时角;

在生成太阳阴影之后,提取出对应的太阳阴影部分;

通过将RGB图像转为LAB空间,当A和B通道的平均值之和小于给定的阈值ab_threshold时,将满足L≤[mean(L)-std(L)/3]的像素值分类为阴影部分,将其他像素分类为非阴影像素,其中,mean(L)表示像素通道的均值,std(L)表示像素通道的标准差;当A和B通道的平均值之和大于给定的阈值ab_threshold时,此时,L和B通道中低于通道阈值的部分归类为阴影区域;

512)对于交通参与者的提取通过语义分割图像与原始RGB图像获取;根据语义分割结果,选择目标对象的类别,生成二值化模板,如下所示:式中,S(x,y)为语义分割结果中位置(x,y)处的标签;M(x,y)为生成的二值化模板;

对于交通对象区域和阴影区域的整体二值化图像获取的流程,首先计算阴影掩码中去掉与交通对象重叠的部分:式中,为交通对象掩码的补集;Mshadow为阴影的掩码;

接着,将去重叠的阴影掩码和车辆掩码合并:

Mcombined=Mobject∪Mrefined_shadow式中,Mcombined为包含交通对象和阴影的整体区域的掩码图像;

综上,整个过程表示为:

利用生成的二值化模板M,对原始图像进行逐像素的掩码操作,提取目标对象的图像区域,如下所示:O(x,y)=I(x,y)×M(x,y);

式中,I(x,y)为原始图像;M(x,y)为包含交通对象和阴影的整体区域的掩码图像。

2.根据权利要求1所述的一种基于视觉增强现实的车辆在环测试方法,其特征在于,所述步骤二的具体方法如下:

21)通过ROS系统统一接收高精度运动信息采集模块数据和相机数据,其中高精度运动信息采集模块数据为CAN格式,相机数据采集的格式是sensor_msgs/Image;所述高精度运动信息采集模块包含车辆的经纬度信息与航向、俯仰、侧倾角度信息;

22)利用ROS系统中的TimeSynchronizer模块对上述的高精度运动信息采集模块数据和相机数据进行时间同步,以确保接收到的不同信号在相同时间戳下对齐,从而实现信号的精确时间同步处理。

3.根据权利要求2所述的一种基于视觉增强现实的车辆在环测试方法,其特征在于,所述步骤三的具体方法如下:

31)对于真实相机的内参和初始外参进行标定,内参标定使用张友定标定法获取相机的内参矩阵;外参的标定先测量世界坐标点及对应的像素坐标,然后通过PnP算法求解相机在以RT为原点的坐标系下的旋转矩阵R和平移向量t;

32)通过经纬度信息计算车辆的平移向量;通过航向、俯仰、侧倾角度信息计算车辆的旋转矩阵;结合标定的车辆相机的内参矩阵与初始外参信息,计算出相机在世界坐标系下的位姿。

4.根据权利要求1所述的一种基于视觉增强现实的车辆在环测试方法,其特征在于,所述步骤四的具体方法如下:

41)利用标定的相机内参信息,设置虚拟相机的参数:主点坐标,焦距,相机成像的高度和宽度,视场角等与真实相机一致;

42)结合计算得出的真实相机的位姿,控制虚拟相机的运动与计算得到的真实相机位姿一致,从而获取与真实相机相同视角下的虚拟世界的输出,包括虚拟世界RGB图像,虚拟世界语义分割图像。

5.根据权利要求1所述的一种基于视觉增强现实的车辆在环测试方法,其特征在于,所述步骤52)的具体方法如下:

521)对于得到的包含太阳阴影的交通参与对象的掩码图像进行高斯卷积,使掩码的边缘区域产生渐变,在二维空间下高斯函数表示为:式中,(x,y)为相对于中心像素的偏移;σ为正态分布的标准差;r为模糊半径(r2=x2+y2);G(x,y)为位置(x,y)的权重;

二维图像的高斯模糊过程为:在图像上应用高斯模糊是通过高斯核矩阵与图像的卷积实现的,整个过程使用以下公式表示:式中,I(i,j)为原图像在(i,j)位置的像素值;I'(i,j)为模糊处理后的图像在(i,j)位置的像素值;G(x,y)为位置(x,y)的权重;k为核的半径;

522)将高斯卷积之后的掩码图像与对应的RGB图像和真实相机采集的前景图像进行Alpha融合,使得前景和背景之间的平滑融合,具体公式为:xoutput=xforeground*xmask+xbackground*(1-xmask)式中,xoutput为融合后的图像;xforeground为前景部分;xbackground为背景部分;xmask为掩膜;xmask的像素值实际计算会从[0,255]归一化为[0,1];当xmask=0,输出像素值属于背景;当xmask=1,输出的像素属于前景;当0

6.根据权利要求1所述的一种基于视觉增强现实的车辆在环测试方法,其特征在于,所述步骤六的具体方法如下:

61)将步骤五的增强现实融合图像输入车辆的感知层进行处理,以测试感知层对真实场景与虚拟动态元素融合场景的感知能力和对复杂环境的适应能力;融合图像通过保留真实世界的背景细节,并叠加虚拟环境中的动态交通参与者,使得感知层能够准确评估动态环境下的物体识别与跟踪性能;感知层结算出对应的交通参与者的运动信息,速度、距离;感知层通过UDP通信将解算出的相对速度、相对距离下发至决策控制模块;

62)决策控制模块接受感知的信号之后计算出相应的控制信号,下发给车辆的线控执行器,从而使得车辆的运动信息发生变化,同时高精度信息采集系统采集新的运动信息从而完使得整个测试系统进入下一轮更新。