欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023104872361
申请人: 桂林电子科技大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种训练样本被少量标记的违规图像检测方法,其特征在于,包括如下步骤:

1)模型结构设计和训练:采用三个结构不同的分类器设计组成集成学习模型,采用有标记图像进行训练,三个分类器分中分类器h(1)与h(2)采用传统卷积层构成,分类器h(3)采用残差结构,具体为:

1-1)三个分类器中含有残差注意力模块,定义为输入特征映射,N为图像中像素的数量,d为特征维度的数量,为线性层,k=1,2,具体如公式(1)、公式(2):Fout=AL2+F  (2),

其中,(α)i,j为第i个像素与特征存储M的第j行之间的相似度,d与S为超参数,A为注意力图,Fout采用残差连接保留输入的原始特征,注意力模块的输出通过残差连接与输入特征相结合;

1-2)在所有的三个分类器中,均采用步骤1-1)中的残差注意力模块进行数据增强,图片输入任何一个分类器或者模型,都是通过卷积不断地提取特征,选择在经过注意力模块提取特征后的2个特征图,来进行混合,按照8:2的比例拼成一张新的特征图,新的特征图的标签即分类类别就变成了80%类别1、20%类别2,未进行混合的图片的类别为100%的所属类别,分类器h(1)、分类器h(2)和分类器h(3)定义为f(x)=fRA(gRA(x)),其中gRA(·)表示将数据输入网络模型中进行处理,直到经过残差注意力模块后的特征图,fRA(·)表示对特征图继续处理直到输出f(x),数据增强的具体步骤如下:已知含有,个有标记样本的数据集DL={(xi,yi)|i=1,2,...,I},从DL中随机抽取两个样本(x,y)和(x′,y′),输入分类器进行逐层计算特征,直到获取到这两个样本经过残差注意力模块处理,此时获取到两个被中间数个神经网络层处理后的样本特征图(gRA(x),y)和(gRA(x′),y′),对这两个小批量样本进行混合操作,得到混合样本,如公式(3)所示:其中,Mixλ(a,b)=λ·α+(1-λ)·β,(y,y′)为独热编码one-hot标签,混合系数λ在0和1之间等概率分布,而后采用混合后的样本从残差注意力模块开始继续在网络中进行前向传递,直到输出,采用输出计算损失值和梯度,更新神经网络的所有参数;

2)联合决策赋予伪标签与权重:假设无标签数据集DU={(xu)|u=1,2,...,U}中的样本数量为U,采用训练好的分类器h(1)、分类器h(2)和分类器h(3)对样本类别进行预测,得到每个分类器对同一样本的预测标签为分类器h(1)给出的预测结果,为分类器h(2)给出的预测结果,则如公式(4):其中,当分类器h(1)与分类器h(2)的预测结果一致时,将该样本视为高可靠性样本,当分类器h(1)与分类器h(2)的预测结果不一致时,将该样本视为低可靠性样本,如果为高可靠性样本,则将分类器h(1)与分类器h(2)的预测的类别作为伪标签,并取分类器h(1)与分类器h(2)给出预测概率较高者为样本权重ω,如公式(5)、公式(6):其中,为分类器h(i)给出的样本xu的分类预测的概率,其中i的范围为1,2,3,之后结合分类器h(1)、h(2)与分类器h(3)的分类结果,联合决策伪标签并筛选样本,其包含以下三种情况:如果与相同,维持为样本xu的伪标签,更新样本权重ω为如果与不同,且大于则同样维持为样本xu的伪标签,更新样本权重ω为如果与不同,且小于则将该样本权重ω更新为0,即从高可靠性样本转而分到低可靠性样本,权重赋予抉择如公式(7)所示:通过集成学习的思想,融合三个模型的分类标签与对应概率来生成伪标签并估计给定未标记数据的样本权重,生成的更准确的伪标签与样本权重相互配合,用于训练后续工作中的模型;

3)对深度残差模型进行训练:首先采用7x7卷积核提取特征,而后使maxpool层进行特征图缩小,并依次采用四种ResBlock来进行特征提取,提取得特征图输入步骤3-1)中残差通道注意力模块和步骤3-2)中残差空间注意力模块进行进一步的特征处理,处理后,将数据输入步骤3-3)中宽度学习系统,具体为:

3-1)残差通道注意力模块:首先对经过卷积操作得到的违规图像特征进行全局平均池化,然后对生成的每个特征图进行压缩操作,其次,通过两个全连接层描述通道间的关联性,确保输出特征权数与输入特征权数一致,最后,采用sigmoid激活函数对权重进行处理,权重代表每个特征通道的重要程度,依据权值表示输入特征图中每个特征通道的关注程度,如公式(8)、公式(9)所示:Y=σ(MLP(AvgPool(I))+MLP(MaxPool(I)))  (8),

其中,Y表示通道注意力图,σ表示sigmoid激活函数,MLP表示多层感知机,I表示输入特征,I′表示经过残差通道注意力处理后的特征图;

3-2)残差空间注意力模块:首先对输入特征在通道维度上执行最大池化操作和全局平均池化操作,获得两个H×W×1的通道,而后将两个H×W×1通道进行组合,获得新特征图,最后对新特征图进行卷积操作,并采用sigmoid激活函数运算获得权重,如公式(10)、公式(11)所示:Y=σ(f3×3([AvgPool(I);MaxPool(I)]))  (10),

其中,Y表示空间注意力图,σ表示sigmoid激活函数,f3×3表示3×3大小的卷积核,I表示输入特征,I′表示过残差空间注意力处理后的特征图;

3-3)宽度学习系统:宽度学习系统由输入层、特征节点、增强节点和输出层组成,宽度学习系统采用步骤3-2)所提取的特征图作为宽度学习系统的输入矩阵输出为N表示样本总数,B表示样本维数,C表示类别总数,对于有n个特征的特征值图,每个特征图生成n个节点,第i个特征节点如公式(12)所示:其中i=1,...,n,与为随机生成的权重和偏移量,是一个线性激活函数,映射特征为线性形式,宽度学习系统采用稀疏自编码方法来优化输入权重,Zn≡[Z1,...,Zi]表示每个特征节点,对于m个增强节点,第j个增强节点如公式(13)所示:其中j=1,...,m,与随机生成,ξ为正切sigmoid非线性激活函数,正切sigmoid函数如公式(14)所示:所有的增强节点被表示为Hm=[H1,...,Hj],整体的宽度学习系统采用下方的公式(15)来表示:

Y=[Zn|Hm]W  (15),

其中W=[Zn|Hm]+为宽度结构的隐藏层与输出层之间的连接权重,通过求解[Zn|Hm]+的岭回归近似,可计算出W,选择采用L2范数正则化来解决优化问题,宽度学习系统的目标函数如公式(16)所示:其中λ正则化系数,为预测结果。