欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021104591161
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-04-30
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种关键点的检测方法,所述方法包括:获取目标视频中第一视频帧的多点热力图,其中,所述多点热力图包含所述第一视频帧中目标的各个关键点;

将所述多点热力图和所述目标视频中的第二视频帧,输入轻量关键点检测模型,得到包含所述第二视频帧中目标的关键点的单点热力图,其中,所述轻量关键点检测模型的参数数量小于指定数值,所述第一视频帧与所述第二视频帧相差的视频帧数量不大于预设差值;

根据各个所述单点热力图,确定所述第二视频帧中目标的关键点坐标值。

2.根据权利要求1所述的方法,其中,所述第一视频帧为所述视频中检测的起始视频帧;

所述获取目标视频中第一视频帧的多点热力图,包括:将所述起始视频帧,输入精确关键点检测模型,得到包含所述起始视频帧中目标的关键点的单点热力图,其中,所述精确关键点检测模型的参数数量大于所述轻量关键点检测模型的参数数量;

对各个该单点热力图进行合并,根据合并结果生成所述多点热力图。

3.根据权利要求1所述的方法,其中,所述将所述多点热力图和所述目标视频中的第二视频帧,输入轻量关键点检测模型,包括:对所述多点热力图和所述第二视频帧进行拼接,得到拼接结果;

将所述拼接结果输入轻量关键点检测模型。

4.根据权利要求1‑3之一所述的方法,其中,所述轻量关键点检测模型的训练步骤,包括:

获取训练样本,其中,所述训练样本中包括样本图像,和基于所述样本图像得到的样本多点热力图;

将所述样本多点热力图和所述样本图像,输入待训练的轻量关键点检测模型,得到所述样本图像中目标的关键点的单点热力图;

基于该单点热力图指示的关键点坐标值,确定所述待训练的轻量关键点检测模型的损失值,通过所述损失值训练所述待训练的轻量关键点检测模型。

5.根据权利要求4所述的方法,其中,所述样本多点热力图的生成步骤,包括:将所述样本图像输入所述精确关键点检测模型,得到包含所述样本图像中目标的关键点的单点热力图;

根据合并各个该单点热力图所得到的合并结果,生成所述样本多点热力图。

6.根据权利要求4所述的方法,其中,所述样本图像为样本视频的视频帧;

所述样本多点热力图的生成步骤,包括:获取所述样本视频中各个视频帧的热力图真值,其中,所述热力图真值为单点热力图真值或多点热力图真值;

对所述各个视频帧的热力图真值进行随机扰动,根据扰动后关键点热力图,确定所述各个视频帧分别对应的多点热力图,并将该多点热力图作为所述样本多点热力图。

7.根据权利要求4所述的方法,其中,所述基于该单点热力图指示的关键点坐标值,确定所述待训练的轻量关键点检测模型的损失值,包括:根据所述关键点坐标值与关键点坐标真值,确定坐标损失值,并根据该单点热力图与单点热力图真值,确定热力图损失值;

根据所述坐标损失值和所述热力图损失值,确定所述待训练的轻量关键点检测模型的损失值。

8.根据权利要求7所述的方法,其中,所述根据所述关键点坐标值与关键点坐标真值,确定坐标损失值,并根据该单点热力图与单点热力图真值,确定热力图损失值,包括:确定所述关键点坐标真值和所述关键点坐标值的差的范数,并确定该范数的平方作为所述坐标损失值;

确定所述单点热力图真值和所述单点热力图的差的范数,并确定该范数的平方作为所述热力图损失值。

9.根据权利要求7所述的方法,其中,所述根据所述坐标损失值和所述热力图损失值,确定所述待训练的轻量关键点检测模型的损失值,包括:利用所述坐标损失值和所述热力图损失值两者的权重,对所述坐标损失值和所述热力图损失值进行加权;

根据所述加权结果,确定所述待训练的轻量关键点检测模型的损失值。

10.一种关键点的检测装置,所述装置包括:获取单元,被配置成获取目标视频中第一视频帧的多点热力图,其中,所述多点热力图包含所述第一视频帧中目标的各个关键点;

预测单元,被配置成将所述多点热力图和所述目标视频中的第二视频帧,输入轻量关键点检测模型,得到包含所述第二视频帧中目标的关键点的单点热力图,其中,所述轻量关键点检测模型的参数数量小于指定数值,所述第一视频帧与所述第二视频帧相差的视频帧数量不大于预设差值;

确定单元,被配置成根据各个所述单点热力图,确定所述第二视频帧中目标的关键点坐标值。

11.根据权利要求10所述的装置,其中,所述第一视频帧为所述视频中检测的起始视频帧;

所述获取单元,进一步被配置成按照如下方式执行所述获取目标视频中第一视频帧的多点热力图:

将所述起始视频帧,输入精确关键点检测模型,得到包含所述起始视频帧中目标的关键点的单点热力图,其中,所述精确关键点检测模型的参数数量大于所述轻量关键点检测模型的参数数量;

对各个该单点热力图进行合并,根据合并结果生成所述多点热力图。

12.根据权利要求10所述的装置,其中,所述预测单元,被配置成所述将所述多点热力图和所述目标视频中的第二视频帧,输入轻量关键点检测模型:对所述多点热力图和所述第二视频帧进行拼接,得到拼接结果;

将所述拼接结果输入轻量关键点检测模型。

13.根据权利要求10‑12之一所述的装置,其中,所述轻量关键点检测模型的训练步骤,包括:

获取训练样本,其中,所述训练样本中包括样本图像,和基于所述样本图像得到的样本多点热力图;

将所述样本多点热力图和所述样本图像,输入待训练的轻量关键点检测模型,得到所述样本图像中目标的关键点的单点热力图;

基于该单点热力图指示的关键点坐标值,确定所述待训练的轻量关键点检测模型的损失值,通过所述损失值训练所述待训练的轻量关键点检测模型。

14.根据权利要求13所述的装置,其中,所述样本多点热力图的生成步骤,包括:将所述样本图像输入所述精确关键点检测模型,得到包含所述样本图像中目标的关键点的单点热力图;

根据合并各个该单点热力图所得到的合并结果,生成所述样本多点热力图。

15.根据权利要求13所述的装置,其中,所述样本图像为样本视频的视频帧;

所述样本多点热力图的生成步骤,包括:获取所述样本视频中各个视频帧的热力图真值,其中,所述热力图真值为单点热力图真值或多点热力图真值;

对所述各个视频帧的热力图真值进行随机扰动,根据扰动后关键点热力图,确定所述各个视频帧分别对应的多点热力图,并将该多点热力图作为所述样本多点热力图。

16.根据权利要求13所述的装置,其中,所述基于该单点热力图指示的关键点坐标值,确定所述待训练的轻量关键点检测模型的损失值,包括:根据所述关键点坐标值与关键点坐标真值,确定坐标损失值,并根据该单点热力图与单点热力图真值,确定热力图损失值;

根据所述坐标损失值和所述热力图损失值,确定所述待训练的轻量关键点检测模型的损失值。

17.根据权利要求16所述的装置,其中,所述根据所述关键点坐标值与关键点坐标真值,确定坐标损失值,并根据该单点热力图与单点热力图真值,确定热力图损失值,包括:确定所述关键点坐标真值和所述关键点坐标值的差的范数,并确定该范数的平方作为所述坐标损失值;

确定所述单点热力图真值和所述单点热力图的差的范数,并确定该范数的平方作为所述热力图损失值。

18.根据权利要求16所述的装置,其中,所述根据所述坐标损失值和所述热力图损失值,确定所述待训练的轻量关键点检测模型的损失值,包括:利用所述坐标损失值和所述热力图损失值两者的权重,对所述坐标损失值和所述热力图损失值进行加权;

根据所述加权结果,确定所述待训练的轻量关键点检测模型的损失值。

19.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1‑9中任一项所述的方法。

21.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑9中任一所述的方法。