1.一种基于麦克风阵列和立体视觉的集成传感器,其特征在于,包括硬件系统和控制系统;
硬件系统包括:
麦克风阵列,采集环境中的音频信息,生成多路模拟音频信号Si(t),并输送至音频工作区;
立体视觉装置,由云台和摄像装置构成,摄像装置位于云台上中心位置,所述麦克风阵列以摄像装置为中心排布在云台上;摄像装置采集环境图像并传送到视频工作区中;云台接收视频工作区的控制指令进行横摆、俯仰转动操作;同时立体视觉装置将自身当前状态的参数发送给视频工作区;
控制系统包括:
音频工作区,对输入的多路模拟音频信号Si(t)进行音频去噪和声源定位、声源追踪处理,得到声源大致坐标、声源最优方向和多路去噪数字音频信号;将声源大致坐标和声源最优方向输入到视频工作区,将声源大致坐标、声源最优方向和多路去噪数字音频信号输入到视频音频合成工作区;
视频工作区,根据输入的声源大致坐标和声源最优方向提取有效图像,经图像处理和图像识别,实现音频辅助图像校准定位和音频辅助图像精准追踪;单独进行图像追踪;
视频音频合成工作区,从音频工作区获取多路音频并加权生成增强音频信号,从视频工作区获取视频信号,将按时间序列合成并输出视频音频信号的融合信号;
所述音频工作区包括:
音频采集模块,将接收到的麦克风阵列采集的多路模拟音频信号Si(t)进行模数转换得到数字音频信号Si(k)后输入到音频缓冲区Ⅰ;
音频缓冲区Ⅰ,暂存来自音频采集模块的数字音频信号Si(k);
音频去噪模块,从音频缓冲区Ⅰ读取上一时刻内存入的数字音频信号Si(k),然后依次通过滤波、加窗、谱减、倒谱操作对数字音频信号Si(k)进行去噪,得到去噪音频信号xi(k)并分别输入到音频追踪定位模块和视频音频合成工作区;
音频追踪定位模块,对输入的去噪音频信号xi(k)使用广义互相关时延估计算法进行声源定位,得到声源大致坐标,将声源大致坐标发送给视频工作区;使用空间谱估计算法进行声源追踪,得到连续时刻内的最优方向,将最优方向分别发送给视频工作区和视频音频合成工作区;
所述视频工作区包括:
云台控制中心,与立体视觉装置之间形成闭环控制,既能获取立体视觉装置状态,又能改变立体视觉装置状态,控制云台进行校准操作;云台控制中心接收来自音频工作区的声源大致坐标和声源最优方向,还接收来自图像识别模块的目标声源校准地址,并向立体视觉装置发送读帧控制指令;
视频缓冲区Ⅰ,暂存摄像装置采集的图像信息;
图像处理模块,接收来自音频工作区的声源大致坐标或声源最优方向并从视频缓冲区Ⅰ读取一帧图像提取有效区域发送给图像识别模块,其中,读帧操作由云台控制中心和图像识别模块发送的读帧控制指令调控;
图像识别模块,对接收到的来自图像处理模块的有效图像进行逐个像素扫描并与目标声源图像进行匹配,获取目标声源的偏移坐标,然后,将偏移坐标发送给云台控制中心;在进行图像追踪时,图像识别模块直接控制图像处理模块读取图像追踪声源;
所述图像识别模块和所述立体视觉装置两者之间构成闭环控制:
图像识别模块识别目标声源在图像中的像素位置,而图像的像素点又与空间方位是一一映射的关系,因此,通过图像识别得到目标声源相对于云台的方向,得到目标声源的偏移坐标;图像识别模块通过云台控制中心间接控制云台完成校准操作,然后云台控制中心向图像处理模块发送读帧控制指令;图像处理模块再读取一帧图像,经图像处理和图像识别得到状态反馈;通过上述过程,图像处理模块既控制立体视觉装置的状态,又获取立体视觉装置状态反馈,两者间形成闭环控制;
所述图像处理模块的读帧操作过程如下:
当视频工作区处于音频辅助图像校准定位或音频辅助图像精准追踪时,图像处理模块从视频缓冲区Ⅰ读取一帧图像的读帧操作需要双重触发:接收到音频工作区发送的声源大致坐标或最优方向后,云台控制中心向其发送读帧控制指令,图像处理模块从视频缓冲区Ⅰ读取一帧图像;而云台控制中心只会在云台完成校准操作后才会向图像处理模块发送读帧控制指令,从而确保所处理的图像准确包含目标声源的图像;
所述视频音频合成工作区包括:
音频增强模块,接收来自音频工作区的去噪音频信号xi(k),并根据来自音频工作区的声源最优方向生成加权矩阵,对去噪音频信号xi(k)进行加权求和,然后将求得的增强音频信号输入到音频缓冲区Ⅱ中;
音频缓冲区Ⅱ,暂存增强音频信号;
视频音频合成模块,分别从视频工作区和音频缓冲区Ⅱ中读取视频信号和音频信号并按照时间序列合成,然后输出;
所述音频增强模块的音频增强过程如下:
根据声源最优方向 生成加权矩阵,加权矩阵按远场模型生成;
上式经傅里叶变换及其逆变换便求得麦克风阵列增强音频信号y;其中,τi为编号为i的麦克风相对于坐标原点的延时,a为加权矩阵,f为声音频率,x(k)为音频矩阵,xi(k)是来自编号i麦克风的音频,(ρi,θi)为编号i麦克风在云台平面上的极坐标,c为声音在空气中的传播速度;
然后将增强音频信号y输入到音频缓冲区Ⅱ。