欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202210450243X
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种特征提取模型的训练方法,包括:

确定待训练的特征提取模型;其中,所述特征提取模型包括针对第一模态对象的第一提取网络和针对第二模态对象的第二提取网络,所述第一提取网络和所述第二提取网络均包括多个特征提取层;

将表征相同语义的样本对输入所述特征提取模型,得到所述第一提取网络的各特征提取层输出的第一样本特征,以及所述第二提取网络的各特征提取层输出的第二样本特征;

基于所述第一样本特征和所述第二样本特征,构建用于表征相同语义的正样本特征对,以及用于表征不同语义的负样本特征对;

响应于基于所述正样本特征对和所述负样本特征对,确定所述特征提取模型未收敛,调整所述特征提取模型的模型参数;

其中,所述基于所述第一样本特征和所述第二样本特征,构建用于表征相同语义的正样本特征对,以及用于表征不同语义的负样本特征对,包括:利用第一类提取层针对所述表征相同语义的样本对所提取的样本特征,构建所述正样本特征对;其中,所述第一类提取层包括所述第一提取网络和所述第二提取网络中属于相同位置的两个特征提取层;

利用第二类提取层针对所述表征相同语义的样本对所提取的样本特征,构建所述负样本特征对;其中,所述第二类提取层包括所述第一提取网络和所述第二提取网络中属于不同位置的两个特征提取层。

2.根据权利要求1所述的方法,其中,所述方法还包括:

基于所述第一样本特征和所述第二样本特征,构建特征矩阵;其中,所述特征矩阵中,行的维度数量为所述第一提取网络对所述表征相同语义的样本对所提取的样本特征的数量,列的维度数量为所述第二提取网络对所述表征相同语义的样本对所提取的样本特征的数量,且矩阵元素为关于所述第一样本特征和所述第二样本特征的特征对,行的各个维度的排布方式与列的各个维度的排布方式相同;

所述利用第一类提取层针对所述表征相同语义的样本对所提取的样本特征,构建所述正样本特征对,包括:从所述特征矩阵中,选取主对角线上的矩阵元素,得到所述正样本特征对;

所述利用第二类提取层针对所述样本对所提取的样本特征,构建所述负样本特征对,包括:从所述特征矩阵中,选取主对角线上的矩阵元素以外的矩阵元素,得到所述负样本特征对。

3.根据权利要求1所述的方法,其中,基于所述正样本特征对和负样本特征对,确定所述特征提取模型是否收敛的方式包括:基于所述正样本特征对和所述负样本特征对,确定所述特征提取模型的模型损失;

利用所述模型损失,判断所述特征提取模型是否收敛。

4.根据权利要求3所述的方法,其中,所述基于所述正样本特征对和所述负样本特征对,确定所述特征提取模型的模型损失,包括:计算所述正样本特征对的特征相似度,以及所述负样本特征对的特征相似度;

基于所述正样本特征对的特征相似度与第一真值的差异,以及所述负样本特征对的特征相似度与第二真值的差异,确定所述特征提取模型的模型损失;

其中,所述第一真值为表征语义相同的相似度真值,所述第二真值为表征语义不同的相似度真值。

5.根据权利要求1‑4任一项所述的方法,其中,所述第一提取网络中的多个特征提取层包括基于第一编码器构建的特征提取层,以及属于神经网络层的特征提取层,所述第一编码器为针对第一模态对象的编码器;

所述第二提取网络中的多个特征提取层包括基于第二编码器构建的特征提取层,以及属于神经网络层的特征提取层,所述第二编码器为针对第二模态对象的编码器。

6.一种对象检索方法,包括:

获取作为检索依据的目标对象;其中,所述目标对象属于第一模态;

将所述目标对象输入特征提取模型中的第一提取网络,以使所述第一提取网络的多个特征提取层提取所述目标对象的特征,得到所述目标对象的第一特征;其中,所述特征提取模型为按照权利要求1‑5任一项方法训练得到的模型;所述第一提取网络的多个特征提取层中,前一级特征提取层的输出为后一级特征提取层的输入,且第一级特征提取层的输入为所述目标对象;

基于预先构建的特征库以及所述第一特征,从包含有属于第二模态的对象的数据库中,确定与所述目标对象相匹配的对象,作为所述目标对象对应的检索结果;

其中,所述特征库包括所述数据库中的对象的第二特征,所述数据库中的对象的第二特征是利用所述特征提取模型中第二提取网络的多个特征提取层,对所述数据库中的对象进行特征提取得到;所述第二提取网络的多个特征提取层中,前一级特征提取层的输出为后一级特征提取层的输入,且第一级特征提取层的输入为所述数据库中的对象。

7.一种特征提取模型的训练装置,包括:

确定模块,用于确定待训练的特征提取模型;其中,所述特征提取模型包括针对第一模态对象的第一提取网络和针对第二模态对象的第二提取网络,所述第一提取网络和所述第二提取网络均包括多个特征提取层;

样本特征提取模块,用于将表征相同语义的样本对输入所述特征提取模型,得到所述第一提取网络的各特征提取层输出的第一样本特征,以及所述第二提取网络的各特征提取层输出的第二样本特征;

构建模块,用于基于所述第一样本特征和所述第二样本特征,构建用于表征相同语义的正样本特征对,以及用于表征不同语义的负样本特征对;

调整模块,用于响应于基于所述正样本特征对和所述负样本特征对,确定所述特征提取模型未收敛,调整所述特征提取模型的模型参数;

其中,所述构建模块,包括:

第一构建子模块,用于利用第一类提取层针对所述表征相同语义的样本对所提取的样本特征,构建所述正样本特征对;其中,所述第一类提取层包括所述第一提取网络和所述第二提取网络中属于相同位置的两个特征提取层;

第二构建子模块,用于利用第二类提取层针对所述表征相同语义的样本对所提取的样本特征,构建所述负样本特征对;其中,所述第二类提取层包括所述第一提取网络和所述第二提取网络中属于不同位置的两个特征提取层。

8.根据权利要求7所述的装置,其中,所述装置还包括:

矩阵构建模块,用于基于所述第一样本特征和所述第二样本特征,构建特征矩阵;其中,所述特征矩阵中,行的维度数量为所述第一提取网络对所述表征相同语义的样本对所提取的样本特征的数量,列的维度数量为所述第二提取网络对所述表征相同语义的样本对所提取的样本特征的数量,且矩阵元素为关于所述第一样本特征和所述第二样本特征的特征对,行的各个维度的排布方式与列的各个维度的排布方式相同;

所述第一构建子模块,具体用于:

从所述特征矩阵中,选取主对角线上的矩阵元素,得到所述正样本特征对;

所述第二构建子模块,具体用于:

从所述特征矩阵中,选取主对角线上的矩阵元素以外的矩阵元素,得到所述负样本特征对。

9.根据权利要求7所述的装置,其中,基于所述正样本特征对和负样本特征对,确定所述特征提取模型是否收敛的方式包括:基于所述正样本特征对和所述负样本特征对,确定所述特征提取模型的模型损失;

利用所述模型损失,判断所述特征提取模型是否收敛。

10.根据权利要求9所述的装置,其中,所述基于所述正样本特征对和所述负样本特征对,确定所述特征提取模型的模型损失,包括:计算所述正样本特征对的特征相似度,以及所述负样本特征对的特征相似度;

基于所述正样本特征对的特征相似度与第一真值的差异,以及所述负样本特征对的特征相似度与第二真值的差异,确定所述特征提取模型的模型损失;

其中,所述第一真值为表征语义相同的相似度真值,所述第二真值为表征语义不同的相似度真值。

11.根据权利要求7‑10任一项所述的装置,其中,所述第一提取网络中的多个特征提取层包括基于第一编码器构建的特征提取层,以及属于神经网络层的特征提取层,所述第一编码器为针对第一模态对象的编码器;

所述第二提取网络中的多个特征提取层包括基于第二编码器构建的特征提取层,以及属于神经网络层的特征提取层,所述第二编码器为针对第二模态对象的编码器。

12.一种对象检索装置,包括:

获取模块,用于获取作为检索依据的目标对象;其中,所述目标对象属于第一模态;

特征提取模块,用于将所述目标对象输入特征提取模型中的第一提取网络,以使所述第一提取网络的多个特征提取层提取所述目标对象的特征,得到所述目标对象的第一特征;其中,所述特征提取模型为按照权利要求1‑5任一项方法训练得到的模型;所述第一提取网络的多个特征提取层中,前一级特征提取层的输出为后一级特征提取层的输入,且第一级特征提取层的输入为所述目标对象;

检索模块,用于基于预先构建的特征库以及所述第一特征,从包含有属于第二模态的对象的数据库中,确定与所述目标对象相匹配的对象,作为所述目标对象对应的检索结果;

其中,所述特征库包括所述数据库中的对象的第二特征,所述数据库中的对象的第二特征是利用所述特征提取模型中的第二提取网络的多个特征提取层,对所述数据库中的对象进行特征提取得到;所述第二提取网络的多个特征提取层中,前一级特征提取层的输出为后一级特征提取层的输入,且第一级特征提取层的输入为所述数据库中的对象。

13.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑5中任一项所述的特征提取模型的训练方法,或者,权利要求6所述的对象检索方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1‑5中任一项所述的特征提取模型的训练方法,或者,权利要求6所述的对象检索方法。