欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024117767349
申请人: 苏州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多模型局部描述整合的行人描述生成方法,其特征在于:包括,

获取待标注的行人图像,将图像与预设指令输入至多个图生文模型,生成行人各属性的局部文本描述;

利用图文匹配模型提取图像特征和各局部文本描述的文本特征,通过余弦相似度计算所述图像特征与所述文本特征的匹配度,从多个局部文本描述中筛选出与图像最匹配的局部文本描述;

采用大语言模型将筛选出的局部文本描述合并,生成行人整体的流畅文本描述;

其中,行人整体的流畅文本描述包括:

其中,LLM为大语言模型,T为最终合并的文本描述,A1,A2,...,AK表示行人图像中具有的属性,MLLMi为第i个跨模态大模型,为针对第j个属性设计的指令提示,I为图像,K为行人图像中具有的属性的数量;为经过筛选后的针对属性A1的局部文本描述;为经过筛选后的针对属性A2的局部文本描述;为经过筛选后的针对属性AK的局部文本描述;为经过筛选后的针对属性Aj的局部文本描述;Aj表示行人图像中具有的第j个属性;π1表示经过相似度计算后,相似度降序排序顺序排名为π1,表示相似度最高;表示针对属性Aj经过相似度计算后,降序排序后所得的相似度最高的局部文本描述;表示针对属性Aj在第i个跨模态模型中生成的属性文本。

2.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于:所述处理器执行所述计算机程序时实现权利要求1所述的基于多模型局部描述整合的行人描述生成方法的步骤。

3.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1所述的基于多模型局部描述整合的行人描述生成方法的步骤。