1.一种视听双模态的360度全方位说话人定位方法,其特征在于,包括以下步骤:S1、依据说话人语音信号到达环形麦克风阵列所在圆直径麦克风上的时间差,进行声源信息降维;利用降维后的声源信息对目标说话人进行声源粗定位;
S2、图像拼接决策与视觉空间定位:基于所述声源粗定位的结果判断说话人是否位于说话人所在方位最近两枚摄像头的摄像画面交接区域,并决策开启的环形摄像头组中摄像头的方位、数量以及是否进行图像拼接;之后基于所述图像拼接处理后的摄像画面进行视觉空间定位;
S3、多模态融合定位:基于所述声源粗定位和视觉空间定位中对说话人的定位结果,进行视听模态的决策级融合,计算出视听模态融合定位结果;
所述S1具体为:选取环形麦克风阵列中合适的两枚麦克风,通过到达时间差TDOA声源定位的方法进行时延估计和位置估计以完成声源定位;
所述声源信息降维具体步骤如下:
S111:标记所述的环形麦克风阵列中的所有麦克风并分组,过环形麦克风阵列同一直径上的两枚麦克风记为同一组,设环形麦克风阵列中的麦克风总数为M,M为2的倍数,设各个麦克风分组的编号为S112:用环形麦克风阵列接收说话人的声音信号,计算每组麦克风中的两枚麦克风接收到说话人声音信号的时间差,设时间差最大的麦克风组为λ,则选取编号为的麦克风组中的两枚麦克风,作为线性麦克风阵列进行后续的声源定位,P不为整数时向下取整;
S2所述图像拼接决策是依据S1中声源粗定位的结果,判断说话人是否位于说话人所在方位最近两枚摄像头的摄像画面交接区域,当说话人位于摄像画面交接区域时,唤醒说话人所在方位的两个相邻摄像头,并对这两个摄像头的摄像画面进行图像拼接;否则直接唤醒说话人所在方位摄像头,不进行图像拼接;
S2所述的视觉空间定位方法如下:
S221:使用人脸检测算法,调用人脸检测分类器,捕捉目标人脸并用矩形框画出;
S222:记录当前画面帧人脸矩形框四个角的位置坐标(x1,y1),(x1,y2),(x2,y1),(x2,y2),坐标系中心为当前摄像画面中心点;
S223:计算人脸中心位置
S224:计算人脸方位角: 其中α为当前摄像画面所占的范围角,X为当前摄像画面的横向像素总长度;
S225:计算人脸俯仰角: 其中β为摄像头的俯仰角,Y为当前摄像画面纵向像素总长度;
S226:将人脸图像定位结果转换到世界坐标系,俯仰角不变;设环形规则分布的360度全景摄像头组共有N个摄像头,以顺时针方向从1到N给摄像头编号,方向1号摄像头拍摄中心为世界坐标系中心,则由在第k个摄像机拍摄到的人脸由图像坐标转换世界坐标时,有其中,km指图像拼接时取得的编号较小的摄像头编号;
S3所述多模态融合定位主要包含帧率跟踪、坐标映射以及决策级视听模态定位结果融合,具体内容如下:S31:使用帧率跟踪方法,将图像和声音信号两者数据在时间上保持同步传输和处理,保证视觉空间定位结果与声源定位结果在时间上的一致性;
S32:将声源定位结果转换到世界坐标系即完成坐标映射,将声源定位转换到世界坐标的结果转换到如下:θsound=θt+θω
式中,θω为所选取麦克风组的近世界坐标系麦克风修正到世界坐标系原点的角度补偿值;
S33:分别计算出声源定位结果和视频定位得到的方位角的融合权重γimage、γsound,从而得到目标说话人融合定位的方位角,并取视觉空间定位的得到的目标说话人俯仰角为最终融合的俯仰角,其中,γsound+γimage=1;且0≤γsound≤1,0≤γimage≤1;
所述S33具体如下:
S331:由人脸矩阵框四角坐标计算人脸大小在整幅图像的占比,即人脸大小评价系数:Sall为摄像画面总大小,Sface为画面中的目标人脸大小;
S332:由双眼坐标(xel,yel),(xer,yer)计算人脸角度评价系数 xel和ye1是左眼的横纵坐标,xer和yer是右眼的横纵坐标;
S333:由图像平均亮度Bave计算图像明亮度系数 其中 为预设亮度值;
S334:计算视觉空间定位的融合权重:γimage=ω1γ1+ω2γ2+ω3γ3,并计算出声源定位结果的融合权重γsound=1‑γimage,其中ωi为权重补偿值,且ω1+ω2+ω3=1;
S335:计算融合后的目标说话人方位角:θ=γsoundθsound+γimageθimage;目标说话人的俯仰角为视觉空间定位得到的俯仰角