1.一种采用少量数据样本学习的违规图像检测方法,其特征在于,包括如下步骤:
1)数据增强:对类不平衡违规图像数据集中样本数据进行预处理:对类不平衡违规图像数据集中除样本数量最多类之外的类别进行扩充,采用添加高斯噪声、添加盐和胡椒粉噪声、添加泊松噪声、图像旋转和图像翻转的方式增强数据集,并在数据增强后对图片尺寸进行统一化处理;
2)将经过数据增强的图像,输入新设计的模型进行训练:包括:
2-1)初步特征提取:输入的图像首先经过7x7卷积核大小的卷积层,初步提取特征,得到特征图,而后采用BN层将得到的特征图进行标准化,使特征图内的元素具有零均值和单位方差,激活函数为Leaky ReLU,最后,通过MaxPool缩小特征图的尺寸;
2-2)特征图输入多路残差块进行进一步特征运算:对步骤2-1)处理后的特征图,分三路进行处理,具体过程如下:
2-2-1)第一路接受步骤2-1)处理后的特征图后,输入1x1的卷积核组成的卷积层进行处理,在不同通道之间进行线性组合,在1x1卷积层后采用BN层和Leaky ReLU激活函数,1x1卷积层,BN层和Leaky ReLU激活函数视为第一种组合,在第一路中,堆叠三个这样的组合,输出为经过第一种组合处理后的特征图;
2-2-2)第二路接受步骤2-1)处理后的特征图后,输入3x3的卷积核组成的卷积层进行处理,提取图像中的局部特征,检测像素之间的关系,在3x3卷积层采用BN层和Leaky ReLU激活函数,3x3卷积层,BN层和Leaky ReLU激活函数视为第二种组合,在第二路中,堆叠三个这样的组合,输出为经过第二种组合处理后的特征图;
2-2-3)第三路接受步骤2-1)处理后的特征图后,输入5x5的卷积核组成的卷积层进行处理,在5x5卷积层后采用BN层和Leaky ReLU激活函数,5x5卷积层,BN层和Leaky ReLU激活函数视为第三种组合,在第三路中,堆叠三个这样的组合,输出为经过第三种组合处理后的特征图;
2-2-4)接收步骤2-2-1)、步骤2-2-2)、步骤2-2-3)三路处理后的特征图,以及步骤2-1)给出的特征图,将这四种特征图进行相加操作,输出特征图给后续的层;
2-3)采用ResBlock块接收步骤2-2-4)给出的特征图进行特征提取处理,输出特征图给后续的层;
2-4)AvgPool层把每个特征图的元素以组为单位求平均值,采用2x2的核处理后的特征图的尺寸为处理前的四分之一;
2-5)FC层:使用步骤2-4)处理后的特征图,训练模型中,如果模型给出的预测与真实分类不同,损失函数就会给模型惩罚,从模型后端开始,向前逐渐进行参数的更新,纠正错误参数;其中,改进损失函数:采用反特征重叠交叉熵损失函数,即引入一个超参数来描述样本特征重叠的程度,对交叉熵损失函数根据数据集类不平衡的情况进行修正,反特征重叠交叉熵损失函数定义如公式所示:
2-6)将所有的训练集图片按照步骤2-1)至步骤2-5)的方式输入模型,最终得到用于违规数据分类认定的模型;
2-7)采用步骤2-6)训练得到的模型,输入待检测的图片,给出是否为违规数据的预测,用于对违规图像数据的分类认定。