1.一种基于人体区域分割与语义注意力增强的人体穴位识别方法,其特征在于,包括:S1,获取人体的RGB图像和深度图像,使用主干提取网络提取图像特征,并使用人体区域分割网络生成人体不同结构的掩码图;
步骤S1使用人体区域分割网络生成人体不同结构的掩码图,包括:首先使用一个特征提取网络对人体的RGB图像进行特征提取;然后将提取的特征送入预训练的掩码生成网络,生成一个通道的身体区域掩码图;再将通道的身体区域掩码图上采样至分辨率与融合图像特征一致,得到聚类掩码;最终将聚类掩码映射至通道数与融合图像特征一致;
S2,使用掩码图对图像特征进行乘性调制得到图像融合特征,然后通过一个卷积层得到基于人体区域分割的初步穴位识别结果;
S3,获取穴位先验知识,使用双重注意力机制并根据穴位先验知识和图像融合特征,获得通道注意力权重和空间注意力权重;
S4,利用通道注意力权重和空间注意力权重,对初步穴位识别结果进行语义注意力增强处理,得到最终的穴位识别结果。
2.根据权利要求1所述的人体穴位识别方法,其特征在于,用于提取图像特征的主干提取网络,具体采用ResNet101,并将首层输入卷积由三通道改为四通道,以接收RGB图像和深度图像在通道维度的拼接输入;实现过程表示为:,;
;
;
其中,和分别代表输入的RGB图像和深度图像,代表对和进行通道拼接,为主干提取网络的输入图像特征,为四通道的主干提取网络,代表主干提取网络提取输出的图像特征,为主干提取网络的输出通道数,和分别为输入图像的高和宽。
3.根据权利要求1所述的人体穴位识别方法,其特征在于,使用掩码图对图像特征进行乘性调制得到图像融合特征,表示为:;
式中,为主干提取网络提取输出的图像特征,为人体区域分割网络生成的人体不同结构的掩码图,为哈达马乘积操作,为乘性调制得到的图像融合特征;
通过一个卷积层得到基于人体区域分割的初步穴位识别结果,表示为:;
式中,代表1×1卷积层的权重参数,,为主干提取网络的输出通道数,和分别为输入图像的高和宽,为穴位类别数;为初步的穴位回归热力图,作为初步穴位识别结果。
4.根据权利要求1所述的人体穴位识别方法,其特征在于,步骤S3使用双重注意力机制对穴位先验知识和图像融合特征进行处理,具体表示为:;
;
;
;
;
式中,代表穴位先验知识,为穴位类别数,为穴位先验知识的维度,为图像融合特征的通道数;表示一个全连接层,用于将穴位先验知识文本进行线性变换,映射至维度与图像融合特征的相同;为经线性变换映射后的穴位先验知识;为全局平均池化算子,为多头注意力机制,代表MHA中的查询向量,代表图像融合特征图上某一个具体像素点处包含的深度语义特征;表示图像融合特征X经全局平均池化得到的通道注意力权重,表示采用多头注意力机制对图像融合特征X和映射后的穴位先验知识进行处理得到的空间注意力权重。
5.根据权利要求1所述的人体穴位识别方法,其特征在于,步骤S4对初步穴位识别结果进行语义注意力增强处理,具体表示为:;
式中,代表sigmoid激活函数,表示通道注意力权重,表示空间注意力权重,表示初步穴位识别结果,表示最终的穴位识别结果。
6.根据权利要求1所述的人体穴位识别方法,其特征在于,步骤S1使用人体区域分割网络生成人体不同结构的掩码图,具体表示为:;
;
;
式中,代表输入的RGB图像,代表掩码生成通道的RGB图像特征提取网络,代表掩码生成通道提取的RGB图像特征;代表预训练的掩码生成网络,代表上采样操作,代表上采样得到的聚类掩码;为1×1卷积,表示sigmoid激活函数,代表最终生成的掩码图;分别为主干提取网络所提取的图像特征的通道数、高和宽。