1.一种基于视听融合聚类的说话人日志生成方法,其特征在于,本方法中的输入信号为采集的视频信号,视频信号包括视频的图像序列帧和对应的音频帧;
本方法包括以下步骤:
S1.采用重叠感知说话人分割模型获取各说话人的语音段;
针对所述的音频帧,通过重叠感知说话人分割模型检测说话人的语音段;所述的语音段还记录有该语音段的开始时间和结束时间;
S2.说话人音频嵌入的提取:
将步骤S1获得的语音段送入说话人验证模型以提取音频嵌入,即提取说话人的声纹特征向量;
S3.主动说话人检测:
通过人脸检测和追踪算法和主动说话人检测模型对视频信号进行处理,得到每个说话人的说话分数矩阵A[i][j],即视觉嵌入;
说话分数矩阵A[i][j]代表ID为i的说话人在第j个视频帧中说话的概率;
S4.视听聚类:
将音频嵌入和视觉嵌入均送入聚类模块进行处理;
聚类模块采用以下步骤实施:
4.1.说话人数量预测:利用视觉嵌入计算关于总说话人数的概率pnumber,通过所述概率预测潜在的说话人数量;
4.2.优化聚类数量:基于优化算法,结合说话人数的概率pnumber和音频嵌入得到的特征值差向量egap,确定最佳说话人数量Kav;
4.3.K-means聚类:根据确定的最佳说话人数量Kav,应用K-means聚类算法将音频片段分配到Kav个聚类中,形成日志;
最终日志结果为以[说话人ID,开始时间,结束时间]数据结构表征的三元组列表;在步骤4.1中,对S3中得到的说话分数矩阵A求出每行的最大值pspk作为每个说话人在视频中说过话的概率,所述说话人数量预测步骤通过如下公式计算概率其中pnumber[n]∈[0,1]表示总共有n个说话人的概率,表示从N个体中选择n个个体的所有可能组合的集合;通过使用该概率,能够对潜在的说话人数量进行预测;在步骤4.2中,所述的优化算法为基于归一化最大特征值差的自适应谱聚类说话人日志方法;
采用基于归一化最大特征值差的自适应谱聚类说话人日志方法,以所有片段的说话人音频嵌入E的余弦相似度构造相似性矩阵Esim;将Esim与Esim的转置求平均,得到平均值矩阵然后,以平均值矩阵构建拉普拉斯矩阵L,并进行奇异值分解以获得特征值Σ和特征向量U,最后,从Σ得到特征值差向量egap,所述优化聚类数量步骤通过权重系数λ对pnumber和特征值差向量egap进行加权平均,确定最佳说话人数量Kav;优化算法的计算公式如下:argmax表示找出给定函数或数组中取得最大值的索引位置,softmax函数用于将一个向量映射为一个概率分布,使得输出值在[0,1]之间,且所有输出的和为1。
2.根据权利要求1所述的基于视听融合聚类的说话人日志生成方法,其特征在于,在步骤S1中,采用5秒的滑动窗口,将音频信号通过重叠感知说话人分割模型以检测说话人的语音段。
3.根据权利要求1所述的基于视听融合聚类的说话人日志生成方法,其特征在于,在步骤S2中,将步骤S1中得到的每个语音段作为CAM++说话人验证模型的输入,输出为其中是第i个音频段的说话人音频嵌入,M是语音片段数量,d=192是特征维度。
4.根据权利要求1所述的基于视听融合聚类的说话人日志生成方法,其特征在于,在步骤S3中,基于视频信号,采用人脸检测算法S3FD以检测视频中的说话人人脸,并利用ResNet算法进行人脸全局追踪,将视频中不同时间的同一个说话人标上唯一ID,最后通过主动说话人检测模型得到每个说话人在每个视频帧的说话概率,即得到每个说话人的说话分数矩阵其中N为检测到的说话人数,T为视频帧数;
其中A[i][j]代表ID为i的说话人在第j个视频帧中说话的概率。
5.根据权利要求1所述的基于视听融合聚类的说话人日志生成方法,其特征在于,在步骤S4.3中,所述K-means聚类步骤为在确定最佳说话人数量Kav后,对U的前Kav个特征向量应用K-means聚类算法;通过聚类,将音频片段分配到Kav个聚类中,即分配给Kav个不同的说话人;
进而得到最终的说话人日志;说话人日志以[说话人序号,开始时间,结束时间]的三元组列表体现。