欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020111339503
申请人: 平安科技(深圳)有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-07-21
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种动作识别模型训练方法,其特征在于,所述方法包括:

获取视频图像、动作数据和所述视频图像、动作数据对应的动作标签;

基于所述视频图像和对应的动作标签对双流卷积神经网络进行网络训练,得到训练完成的网络模型和预测结果;通过根据所述视频图像提取与所述视频图像对应的光流图像;利用所述视频图像和对应的动作标签对双流卷积神经网络中的空间流卷积网络进行训练,并得到空间预测结果;利用所述光流图像和对应的动作标签对双流卷积神经网络中的时间流卷积网络进行训练,并得到时间预测结果;将所述空间预测结果和所述时间预测结果进行聚合,得到预测结果;

基于所述动作数据和对应的动作标签对预先配置的分类器进行训练,得到训练完成的分类模型和分类结果;运动数据包括用户在进行相应动作时,智能穿戴设备中搭载的陀螺仪传感器采集到的三轴角速度数据和加速度传感器采集到的三轴加速度数据;分别计算三轴角速度数据和三轴加速度数据的均值、方差和均方根,并组成特征矩阵,然后将特征矩阵和对应的动作标签输入至预先配置的分类器中进行动作分类,得到训练完成的分类模型和分类结果;

将所述训练完成的网络模型和所述训练完成的分类模型合并得到本地识别模型,以及根据所述预测结果和所述分类结果得到本地识别结果;通过基于权重计算公式,根据所述预测结果和所述分类结果得到本地识别结果;所述权重计算公式包括:将所述本地识别模型的模型参数和所述本地识别结果上传至云服务器进行联合学习,以得到学习参数;

接收所述云服务器发送的学习参数,并根据所述学习参数更新所述本地识别模型,将更新后的所述本地识别模型作为训练完成的动作识别模型。

2.根据权利要求1所述的动作识别模型训练方法,其特征在于,所述将所述本地识别模型的模型参数和所述本地识别结果上传至云服务器进行联合学习,包括:对所述本地识别模型的模型参数和所述本地识别结果进行加密,得到加密数据;

将所述加密数据上传至云服务器进行联合学习。

3. 根据权利要求1所述的动作识别模型训练方法,其特征在于,在所述将所述本地识别模型的模型参数和所述本地识别结果上传至云服务器进行联合学习之前,所述方法包括:将训练完成的网络模型和预测结果上传至云服务器进行联合学习,得到联合网络模型;接收所述云服务器发送的所述联合网络模型,并将所述联合网络模型作为训练完成的网络模型;和/或将训练完成的分类模型和分类结果上传至云服务器进行联合学习,得到联合分类模型;接收所述云服务器发送的所述联合分类模型,并将所述联合分类模型作为训练完成的分类模型。

4.一种动作识别方法,其特征在于,包括:

获取待识别图像和所述待识别图像对应的运动数据;

将所述待识别图像和所述运动数据输入预先训练的动作识别模型进行动作识别,得到识别结果;

其中,所述预先训练的动作识别模型为根据权利要求1-3任一项所述的动作识别模型训练方法训练得到的。

5.一种动作识别模型训练装置,其特征在于,包括:

样本获取模块,用于获取视频图像、动作数据和所述视频图像、动作数据对应的动作标签;

网络训练模块,用于基于所述视频图像和对应的动作标签对双流卷积神经网络进行网络训练,得到训练完成的网络模型和预测结果;通过根据所述视频图像提取与所述视频图像对应的光流图像;利用所述视频图像和对应的动作标签对双流卷积神经网络中的空间流卷积网络进行训练,并得到空间预测结果;利用所述光流图像和对应的动作标签对双流卷积神经网络中的时间流卷积网络进行训练,并得到时间预测结果;将所述空间预测结果和所述时间预测结果进行聚合,得到预测结果;

分类训练模块,用于基于所述动作数据和对应的动作标签对预先配置的分类器进行训练,得到训练完成的分类模型和分类结果;运动数据包括用户在进行相应动作时,智能穿戴设备中搭载的陀螺仪传感器采集到的三轴角速度数据和加速度传感器采集到的三轴加速度数据;分别计算三轴角速度数据和三轴加速度数据的均值、方差和均方根,并组成特征矩阵,然后将特征矩阵和对应的动作标签输入至预先配置的分类器中进行动作分类,得到训练完成的分类模型和分类结果;

模型合并模块,用于将所述训练完成的网络模型和所述训练完成的分类模型合并得到本地识别模型,以及根据所述预测结果和所述分类结果得到本地识别结果;通过基于权重计算公式,根据所述预测结果和所述分类结果得到本地识别结果;所述权重计算公式包括:联合学习模块,用于将所述本地识别模型的模型参数和所述本地识别结果上传至云服务器进行联合学习,以得到学习参数;

模型更新模块,用于接收所述云服务器发送的学习参数,并根据所述学习参数更新所述本地识别模型,将更新后的所述本地识别模型作为训练完成的动作识别模型。

6.一种动作识别装置,其特征在于,包括:

数据获取模块,用于获取待识别图像和所述待识别图像对应的运动数据;

动作识别模块,用于将所述待识别图像和所述运动数据输入预先训练的动作识别模型进行动作识别,得到识别结果;

其中,所述预先训练的动作识别模型为根据权利要求1-3任一项所述的动作识别模型训练方法训练得到的。

7.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器;

所述存储器用于存储计算机程序;

所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至3中任一项所述的动作识别模型训练方法或如权利要求4所述的动作识别方法。

8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至3中任一项所述的动作识别模型训练方法或如权利要求4所述的动作识别方法。