欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202310698849X
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于时序注意力的在线手卫生评估方法,其特征在于,所述方法包括:

步骤a:获取在线洗手视频流,通过编码器和解码器分别建模各类时序特征;

步骤b:使用时序注意力来增强和融合各类时序特征,得到融合特征;短期当前特征、类别历史特征和短期未来特征均输入到相同结构的注意力模块中,利用注意力机制在空间和通道上进行特征增强,之后进行传递连接实现渐进式交互,最后在通道维度上将三者连接起来得到融合特征;所述注意力模块包括第二全局池化层、第二平均池化层、第二全连接层至第六全连接层、第一激活层至第三激活层,第二全局池化层通过第二全连接层与第一激活层连接,第二平均池化层通过第三全连接层与第二激活层连接,第一激活层与第二激活层的输出结果融合以后输入到第四全连接层,第五全连接层通过第三激活层以后的输出结果以及第一激活层与第二激活层的输出结果融合以后输入第六全连接层,第四连接层和第六连接层的输出结果分别通过一个激活函数以后融合输出;

步骤c:对融合特征进行动作分类并对初始特征进行分割,得到各个洗手动作的时序特征及其对应的动作类别,作为动作特征;

步骤d:将动作特征通过第一全局最大池化层进行汇集得到根特征,由两个不同的第一全连接层线性映射到两个子特征中,后续各层特征的处理方法相同,最后使用MLP对最后一层的所有特征进行回归,得到每个洗手动作的得分,将当前视频流中的各个洗手动作得分相加得到最终的预测得分。

2.根据权利要求1所述的基于时序注意力的在线手卫生评估方法,其特征在于,所述步骤a之前还包括:对在线洗手视频流提取224224可见光视频帧以及224224光流帧,然后输入到预训练好的I3D网络中,通过特征提取得到1024维的可见光特征和光流特征,之后将这两个模态特征在通道维度上进行连接,得到2048维的初始特征。

3.根据权利要求1所述的基于时序注意力的在线手卫生评估方法,其特征在于,所述步骤a包括:从初始特征中提取第一预设长度的特征作为长期特征,从初始特征中提取第二预设长度的特征作为长期特征Fshort,第一预设长度大于第二预设长度,通过编码器和解码器分别建模各类时序特征的公式如下其中,表示编码器,表示长期历史特征,表示类别历史特征,表示短期当前特征,表示解码器,表示短期未来特征,表示可学习特征。

4.根据权利要求1所述的基于时序注意力的在线手卫生评估方法,其特征在于,所述步骤b还包括:构建以下公式得到融合特征

其中,1,2,3},代表注意力模块,为第一平均池化层,表示连接。

5.根据权利要求1所述的基于时序注意力的在线手卫生评估方法,其特征在于,所述步骤c包括:将融合特征输入到分类头中,识别得到当前视频流每一帧的动作类别,之后利用这些类别信息对I3D网络提取出的初始特征进行分割,得到当前视频流中各个洗手动作的时序特征,i对应洗手动作的类别,作为动作特征。

6.根据权利要求5所述的基于时序注意力的在线手卫生评估方法,其特征在于,所述步骤d包括:通过公式获取当前视频流中第i个洗手动作的得分;

通过公式将当前视频流中的各个洗手动作得分相加,得到当前视频流中洗手动作的预测得分;

其中,表示集成评分树,集成评分树表示的是步骤d中第一全局最大池化层、两个不同的第一全连接层以及后续各层的结构,表示当前视频流中洗手动作的类别数。

7.根据权利要求6所述的基于时序注意力的在线手卫生评估方法,其特征在于,所述方法还包括预训练过程:调整评估过程中涉及的各个模块的参数,不断训练整个模型,直到损失函数最小时停止训练,得到最优的模型,利用该最优的模型进行在线手卫生评估,所述损失函数包括第一损失函数其中,为当前动作的类别预测概率且,为未来帧的预测概率且,表示交叉熵损失函数,和均为分类器,和分别是当前和未来动作的真实类别,为平衡因子;

所述损失函数还包括第二损失函数

其中,和分别为预测得分和真实得分,表示均方误差。

8.基于时序注意力的在线手卫生评估系统,其特征在于,所述系统包括:

时序特征获取模块,用于获取在线洗手视频流,通过编码器和解码器分别建模各类时序特征;

融合特征获取模块,用于使用时序注意力来增强和融合各类时序特征,得到融合特征;短期当前特征、类别历史特征和短期未来特征均输入到相同结构的注意力模块中,利用注意力机制在空间和通道上进行特征增强,之后进行传递连接实现渐进式交互,最后在通道维度上将三者连接起来得到融合特征;所述注意力模块包括第二全局池化层、第二平均池化层、第二全连接层至第六全连接层、第一激活层至第三激活层,第二全局池化层通过第二全连接层与第一激活层连接,第二平均池化层通过第三全连接层与第二激活层连接,第一激活层与第二激活层的输出结果融合以后输入到第四全连接层,第五全连接层通过第三激活层以后的输出结果以及第一激活层与第二激活层的输出结果融合以后输入第六全连接层,第四连接层和第六连接层的输出结果分别通过一个激活函数以后融合输出;

动作特征获取模块,用于对融合特征进行动作分类并对初始特征进行分割,得到各个洗手动作的时序特征及其对应的动作类别,作为动作特征;

评估模块,用于将动作特征通过第一全局最大池化层进行汇集得到根特征,由两个不同的第一全连接层线性映射到两个子特征中,后续各层特征的处理方法相同,最后使用MLP对最后一层的所有特征进行回归,得到每个洗手动作的得分,将当前视频流中的各个洗手动作得分相加得到最终的预测得分。