1.一种基于梯度惩罚的计算机视觉特征提取方法,其特征在于,包括:S1:获取多媒体数据及其标注信息;并对所述多媒体数据进行预处理;所述多媒体数据包括图像或视频序列;
S2:将预处理后的所述多媒体数据及其标注信息输入至神经网络模型,计算第一损失函数;
S3:基于所述第一损失函数对神经网络模型的输入数据进行反向传播,得到第一损失函数对输入数据的一阶导数;
S4:根据所述第一损失函数对输入数据的一阶导数计算梯度惩罚损失函数;
S5:根据第一损失函数和梯度惩罚损失函数对所述神经网络模型进行二次反向传播,二次反向传播的目标为模型参数,并更新模型参数;
S6:重复执行S2-S5,直至达到最大训练次数,得到训练完成的神经网络模型;
S7:将待提取特征的医学的多媒体数据输入至训练完成的神经网络模型,输出预测结果。
2.根据权利要求1所述的基于梯度惩罚的计算机视觉特征提取方法,其特征在于,所述计算机视觉特征提取方法执行不同任务时,所述标注信息和所述预测结果不同,包括:当执行图像识别任务时,所述标注信息为类别标注,所述预测结果为目标的类别;
当执行图像检测任务时,所述标注信息为框标注、类别标注,所述预测结果为目标的位置、类别;
当执行图像分割任务时,所述标注信息为掩膜标注,所述预测结果为目标的区域;
当执行多类任务时,所述多类任务包括图像识别任务、图像检测任务和/或图像分割任务,所述标注信息由多个图像识别任务、图像检测任务和/或图像分割任务对应的标注信息组成,所述预测结果由多个图像识别任务、图像检测任务和/或图像分割任务对应的预测结果组成。
3.根据权利要求1所述的基于梯度惩罚的计算机视觉特征提取方法,其特征在于,所述对所述多媒体数据进行预处理包括:多个所述图像及其标注信息组成训练集;
以随机大小、随机长宽比对所述图像进行裁剪,并将所述图像重采样至预设大小;
以0.5概率随机左右翻转多张所述图像;
对所述图像进行强度为7、强度标准差为0.5的RandAugment数据增强,并采用训练集的统计均值进行填充;
对所述图像进行亮度、对比度、饱和度均为0.4的随机颜色抖动;
对所述图像进行概率为0.25、最小比例为0.2、最大比例为1/3、模式为rand的随机擦除,并使用训练集的统计均值和统计标准差进行填充;
训练集的统计均值的计算公式:
其中,
训练集的统计标准差的计算公式:
其中,
采用训练集的统计均值和统计标准差对所述图像进行归一化,并进行Mixup和CutMix数据增强操作。
4.根据权利要求2所述的基于梯度惩罚的计算机视觉特征提取方法,其特征在于,所述第一损失函数包括平均绝对误差损失函数或均方差损失函数或交叉熵损失函数。
5.根据权利要求1所述的基于梯度惩罚的计算机视觉特征提取方法,其特征在于,所述神经网络模型采用vit-s,参数设置包括:patch大小为16,模型基础维度为384,共12层全连接层,6个注意力头,全连接隐藏层的维度大小为4倍模型基础维度,随机深度值为0.1,采用线性分类头用以最终分类。
6.根据权利要求1所述的基于梯度惩罚的计算机视觉特征提取方法,其特征在于,神经网络模型的训练次数包括训练批量大小为128,训练轮次为400轮。
7.根据权利要求1所述的基于梯度惩罚的计算机视觉特征提取方法,其特征在于,所述梯度惩罚损失函数包括L1范数损失、L2范数损失以及局部L2范数损失;所述梯度惩罚损失函数的表达式为:其中,
8.根据权利要求1所述的基于梯度惩罚的计算机视觉特征提取方法,其特征在于,所述根据第一损失函数和梯度惩罚损失函数对所述神经网络模型进行二次反向传播包括:对所述第一损失函数和所述梯度惩罚损失函数进行求和,得到总损失函数,基于所述总损失函数对所述神经网络模型进行二次反向传播,计算总损失函数对神经网络模型的模型参数的导数,以此更新神经网络模型的模型参数。
9.根据权利要求1所述的基于梯度惩罚的计算机视觉特征提取方法,其特征在于,所述多媒体数据及其标注信息采用Caltech101数据集中的图片及其对应类别。