1.一种基于DC-Res2Net和特征融合注意力模块的手势图像分类方法,其特征在于:方法包括如下步骤:
步骤1)使用已知数据集中的手势图像作为手势图像,并获取手势图像的类别标签,对手势图像进行尺寸归一化处理,将经过尺寸归一化处理后的手势图像作为训练集;
步骤2)构建卷积神经网络,所述卷积神经网络主要由特征提取模块、特征融合注意力模块和Softmax分类器依次连接构成,手势图像先输入到特征提取模块分别获得高阶特征张量和低阶特征张量,再将高阶特征张量与低阶特征张量同时输入特征融合注意力模块中处理后获得特征向量融合后的特征张量,进而然后将特征向量融合后的特征张量输入到Softmax分类器中进行分类,得到手势图像的分类结果;
所述的特征提取模块主要由DC-Res2Net29网络和三个SK-Net模块构成,所述的DC-Res2Net29网络包括第一卷积层、第一最大池化层和三个残差模块,第一卷积层经第一最大池化层连接到第一个残差模块的输入端;三个残差模块和三个SK-Net模块依次交替连接构成,每个残差模块主要由三个DC-Res2Net模块依次连接构成;将手势图像输入到第一个残差模块中输出获得低阶特征张量,经最后一个SK-Net模块输出获得高阶特征张量;
步骤3)将步骤1)的训练集输入卷积神经网络进行训练;
步骤4)将待分类的手势图像输入到步骤3)训练好的卷积神经网络中进行手势图像分类,得到分类结果。
2.根据权利要求1所述的一种基于DC-Res2Net和特征融合注意力模块的手势图像分类方法,其特征在于:所述的DC-Res2Net模块是在Res2Net模块的基础上,使得Res2Net模块中的每一组卷积滤波器的输出均输入到下一组卷积滤波器,且将Res2Net模块中的单个卷积层替换为分组卷积。
3.根据权利要求1所述的一种基于DC-Res2Net和特征融合注意力模块的手势图像分类方法,其特征在于:所述的SK-Net模块包括依次相连的特征分离模块、多通道融合模块和特征选择模块;特征分离模块包括并联连接的一个第二卷积层和一个空洞卷积层,残差模块输出的特征向量分别输入第二卷积层和空洞卷积层中得到第一分离特征张量和第二分离特征张量;多通道融合模块包括依次连接的一个全局平均池化层和一个第一全连接层;将特征分离模块得到的两个分离特征张量相加后输入到全局平均池化层中,第一全连接层输出融合特征作为多通道融合模块的输出结果;特征选择模块包括一个第二全连接层和一个第一激活层;将多通道融合模块得到的融合特征输入到第二全连接层得到紧凑特征,再将紧凑特征输入第一激活层;通过激活函数得到第一权重矩阵和第一权重矩阵,再将得到的第一权重矩阵和第二权重矩阵分别与特征分离模块得到的第一分离特征张量和第二分离特征张量相乘后相加得到特征向量选择后的特征张量,作为SK-Net模块的最终输出。
4.根据权利要求1所述的一种基于DC-Res2Net和特征融合注意力模块的手势图像分类方法,其特征在于:所述的特征融合注意力模块包括边界信息增强模块、特征加权增强模块和特征融合模块;边界信息增强模块包括两个卷积分支以及一层第三卷积层和一层第二最大池化层;每个卷积分支是由两个卷积层依次连接构成,两个卷积分支并联设置,两个卷积分支的输出端经相加层后再输入到第三卷积层中,第三卷积层的输出端连接输入到第二最大池化层中;特征提取模块输出的低阶特征向量分别输入两路卷积分支,将两路卷积分支输出的特征张量通过相加层相加后并输入到第三卷积层中,再将第三卷积层输出的特征张量输入第二最大池化层中,第二最大池化层输出的特征张量作为边界信息增强后的低阶特征张量;特征加权增强模块包括依次连接的一层卷积层和一层平均池化层,将特征提取模块输出的高阶特征向量输入到平均池化层,再将平均池化层输出的特征张量输入第四卷积层中,再将边界信息增强模块输出的边界信息增强后的低阶特征张量和第四卷积层输出的特征张量采用相乘的方式进行组合得到经过特征加权的特征张量;特征融合模块直接将高阶特征向量和特征加权增强模块输出的特征加权的特征张量以相加的方式进行特征融合获得特征向量融合后的特征张量。