1.一种基于DDPG‑RAM算法的复杂光照条件下织物缺陷检测方法,其特征在于:所述检测方法如下:
1)采集织物缺陷图像作为训练样本;
2)对步骤1)中织物缺陷图像进行预处理,选用图像增强算法对复杂光照条件下的织物图像进行图像增强;
3)利用步骤2)中图像增强后的训练样本对DDPG‑RAM模型进行训练,确定训练后的网络参数
3.1)构建DDPG‑RAM模型,并随机初始化网络参数;
构建DDPG‑RAM模型,结合了深度确定性策略梯度(DDPG)算法和循环注意力模型(RAM),该DDPG‑RAM模型包括Glimpse网络,Core网络,Action网络,Actor网络和Critic网络五个部分,Actor网络、Critic网络又分别构建了两个结构完全相同但参数不同的eval网络和target网络,从而形成Actor eval网络、Actor target网络、Critic eval网络和Critic target网络共四个网络,其中,Actor网络为行为网络、Critic网络为评价网络、eval网络为估计网络和target网络为目标网络,Actor eval网络为行为估计网络、Actor target网络为行为目标网络、Critic eval网络为评价估计网络、Critic target网络为为评价目标网络;然后对该RAM模型进行随机初始化,即随机初始化Glimpse网络、Core网络、Action网络、Actor eval网络、Critic eval网络的参数 μμ Q
(h|θ)、Q(h,l|θ),以及将Actor eval网络和Critic eval网络的值赋予与之对应的targetμ μ' Q Q'网络,即θ→θ ,θ→θ ;
g
f是Glimpse网络的缩写, 代表Glimpse网络参数,l和x是Glimpse网络的输入参数,l代表当前时刻裁剪图像的中心位置,x是被裁剪的完整图像整体;
h
f是Core网络的缩写, 代表Core网络参数,ht‑1和fg是Core网络的输入参数,ht‑1代表上一时刻Core网络输出的状态参数;
a
f是Action网络的缩写, 代表Action网络参数,ht是Action 网络的输入参数,代表当前时刻Action网络输出的状态参数;
μ μ
μ(h|θ)代表Actor eval网络,θ代表Actor eval网络参数,h是Actor eval网络的输入参数,代表经过当前时刻ht经过全连接处理后的参数;
Q Q
Q(h,l|θ)代表Critic eval网络,θ代表Critic eval网络参数;
μ μ'
θ→θ 代表将Actor eval网络的参数复制给Actor target网络,Q Q’
θ→θ 代表将Critic eval网络的参数复制给Critictarget网络;
3.2)经验池初始化为0,大小为max_size×(2×ht_dim+2+1);
设经验池为i行、j列的二维矩阵,二维矩阵中每个元素的值初始化为0,其中i为样本容量,j为每个样本储存的信息数量,经验池大小为j=max_size×(2×ht_dim+2+1),其中ht_dim为状态的维度;公式中的数字2为动作的维度,公式中的数字1为用于在经验池中存储奖励信息的预留空间;
3.3)构造一个随机正态分布N对注意力位置施加干扰
3.4)对DDPG‑RAM模型进行训练
4)利用训练后的DDPG‑RAM算法对复杂光照条件下织物缺陷图像进行缺陷检测。
2.根据权利要求1所述基于DDPG‑RAM算法的复杂光照条件下织物缺陷检测方法,其特2
征在于:所述步骤3.3)中,初始化一个方差为var的随机正态分布N,对注意力位置施加干扰,用于探索环境;
将当前隐藏状态ht作为Actor eval网络的输入,输出得到一个估计注意力位置值l't,2
可以初始化一个方差为var ,均值为估计注意力位置值l't的随机正态分布N,随机正态分布N对这个估计注意力位置值l't‑1施加了干扰,用于探索环境,从中随机输出一个实际注意力位置值lt‑1,用于探索环境,其中t为当前输入隐藏状态的时刻,Actor eval网络的参数为表示当前时刻t的Critic eval网络参数。
3.根据权利要求1所述基于DDPG‑RAM的复杂光照条件下织物缺陷检测方法,其特征在于:所述步骤3.4)具体过程如下:
3.4.1)随机初始化第一个注意力位置值l0;
3.4.2)根据第一个注意力位置值l0获得Glimpse特征;
Glimpse网络包含着Glimpse感知器,Glimpse感知器对步骤2)中图像增强后待处理的五大类织物缺陷图像x进行采样,围绕着第一个注意力位置值l0,获得以第一个注意力位置值l0为图像凝视区域中心的4个长度不同的正方形图像,然后使用最近邻插值法将它们统一变换为尺寸为32×32的一组图像,图像第一个注意力位置值l0的中间区域是较高分辨率的图像,从中间区域向外的更大区域是逐渐降低的低分辨率图像;
然后Glimpse感知器根据所获得的该组图像以及第一个注意力位置值l0进行特征提取,通过全连接层连接,得到Glimpse网络输出的特征g0;
3.4.3)将时间序列Core网络的第一个隐藏状态h0初始化为0;
3.4.4)将Core网络的隐藏状态h0和Glimpse网络的特征g0作为Core网络输入,输出得到新隐藏状态h1;
Core网络实际上就是一个RNN网络,时序地将上一个时间序列Core网络输出的隐藏状态h0和当前通过Glimpse网络输出的特征g0这两个特征结合起来,作为Core网络的输入,输出得到RNN网络中一个新的隐藏状态h1;
3.4.5)将Core网络输出的新隐藏状态h1作为Action网络的输入,输出得到预测分类结果a1,再进一步根据预测的分类结果a1和图像的实际标签label得到奖励函数r1,其中若分类结果a1的正确,则奖励函数为r=1,否则奖励函数为r=0;
3.4.6)将Core网络输出的新隐藏状态h1作为Actor eval网络的输入,输出得到下一个注意力位置值l1, 表示Glimpse网络在当前时刻t输出照片截μ
取的位置信息,θ代表Actor eval网络参数;
3.4.7)在经验池中储存该组状态转移信息:ht‑1、lt‑1、rt、ht;
将上一个时间序列Core网络的隐藏状态ht‑1,上一个时间序列注意力位置值lt‑1,当前的奖励函数rt以及当前的隐藏状态ht存储在经验池中,并将一个时间序列Core网络的隐藏状态ht‑1,上一个时间序列注意力位置值lt‑1,当前的奖励函数rt以及当前的隐藏状态ht统称为状态转移信息;
3.4.8)循环步骤3.4.2)至步骤3.4.7),重复进行T次;
3.4.9)在运行过程中,当经验池储存满时,最新的状态转移信息会替代老的状态转移信息;
后续新的隐藏状态ht+1会替代老的隐藏状态ht,重复步骤3.4.7),将得到的状态转移信息存储在经验池中,直至经验池被存满,存满后每执行一次步骤3.4.7)便跳转执行一次步骤3.4.10);
3.4.10)对Actor网络和Critic网络进行训练
3.4.11)根据最后的分类结果aT和图像的label对Action网络、Core网络、Glimpse网络的参数进行更新;
3.4.12)对步骤3.4)重复训练M次,得到最终的网络参数。
4.根据权利要求3所述基于DDPG‑RAM算法的复杂光照条件下织物缺陷检测方法,其特征在于:所述步骤3.4.10)具体过程如下:
3.4.10.1)随机从经验池取batch组状态转移信息对Actor eval网络和Critic eval网络进行训练,实现参数的更新;
3.4.10.2)分为I个回合,Agent目标网络对随机取的batch组状态转移信息每学习一次,输出的干扰var值更新为如下公式:var=max{var×0.99995,0.1};
3.4.10.3)每间隔J回合,Actor eval网络和Critic eval的网络参数赋值给Actor target和Critic target网络进行更新,赋值方式如下式:μ’ μ μ’ Q’ Q Q’
θ =tau×θ+(1‑tau)×θ ,θ =tau×θ+(1‑tau)×θ ;
μ’ μ
θ 代表Actor target网络参数,θ代表Actor eval网络参数,tau表示更新Actor Q’ Qtarget网络参数的系数;θ 代表Critictarget网络参数,θ代表Critic eval网络参数;
也就是说步骤5.3)中的此时输入的隐藏状态时刻为t',即经验池被存满后每执行一次步骤3.4.7)的时刻。