1.一种基于深度确信策略梯度DDPG算法的感应电机关键参数值获取方法,其特征在于:包括:让电机运行于有速度传感器矢量控制下的转矩模式,当电机在给定转速运行时,采集电机当前的d、q轴电流id、iq,当前的d、q轴电压Ud、Uq,以及当前的输出转矩Te,将id、iq、Ud、Uq作为DDPG算法的观测值,Te作为DDPG算法的奖励值,送入DDPG算法中进行迭代,当迭代结束后,DDPG算法输出的2个值便分别为感应电机的转子电阻Rr、励磁电感Lm;
所使用的DDPG算法的结构为:DDPG由Q值计算神经网络Q‑net和策略梯度计算神经网络Policy Gradient‑net两个部分组成,Q‑net的作用在于搜索到最优的输出转矩,Policy Gradient‑net的作用在于根据Q‑net搜索到的最优的奖励值进行感应电机关键参数值的选择,这两个部分中的每个部分又分为两个子神经网络,称为在线更新神经网络Online update‑net和滤波神经网络Filtering‑net,如下式所示:其中,Q‑net中的Online update‑net使用随机梯度下降技术更新Q‑net神经网络中的Q Q参数θ,而Q‑net中的Filtering‑net则是在Online update‑net参数更新为θ的基础上,再Q Q′使用一阶惯性滤波技术将θ进一步更新为θ ,Q‑net中的Online update‑net和Filtering‑net均为4个输入层神经元,一层隐藏层包含30个隐藏层神经元,以及1个输出层神经元,同理,Policy Gradient‑net的中的Online update‑net使用随机梯度下降技术更新Policy μGradient‑net的神经网络中的参数θ,Policy Gradient‑net中的Filtering‑net则是在μ μOnline update‑net参数更新为θ的基础上,再使用一阶惯性滤波技术将θ进一步更新为μ′θ ,Policy Gradient‑net中的Online update‑net和Filtering‑net均为4个输入层神经元,一层隐藏层包含30个隐藏层神经元,以及2个输出层神经元,其中滤波操作的具体实现为:
2.如权利要求1所述的一种基于深度确信策略梯度DDPG算法的感应电机关键参数值获取方法,其特征在于,所述的方法的具体步骤为:Q μ
①初始化Q‑net和Policy Gradient‑net中的Online update‑net参数θ和θ;
Q μ
②将Q‑net和Policy Gradient‑net中的Online update‑net参数θ和θ复制给Q‑net和Q′ μ′Policy Gradient‑net中的Filtering‑net参数,记作θ 和θ ;
③初始化数据池,设置数据池可包含1000组数据;
④迭代3000次,对于每一次迭代内部的步骤为:
(1)从Policy Gradient‑net中Online update‑net的输出值记为初始动作at,at为2维数组,每一维分别表示估计的转子电阻Rr和励磁电感Lm,记作:其中st=[id,iq,Ud,Uq]表示当前的观测值,μ(st|θμ)表示以st为输入,θμ为Online update‑net参数的条件下,Online update‑net的输出值, 表示高斯噪声;
(2)将at[Rr,Lm]送入电机控制器,电机接收到新参数并运行,采集电机使用新参数运行后的id、iq、Ud、Uq以及Te,记运行后的观测值st+1[id,iq,Ud,Uq]以及奖励值rt[Te];
(3)将[st,at,rt,st+1]作为一组数据送入数据池进行存储,作为训练Online update‑net的数据集;
(4)在数据池中,随机采样M个数据组,进行Q‑net和Policy Gradient‑net中的Online update‑net的训练;
对于Q‑net中的Online update‑net,训练方法为随机梯度下降法,损失函数为:Q Q
上式中,Q((si,ai)|θ)表示在Q‑net中的Online update‑net神经网络参数为θ,观测为si,动作为ai的条件下,Q‑net中的Online update‑net输出的价值函数Q,yi可写作为:μ′ Q′
yi=ri+γQ′(si+1,μ′(si+1|θ)|θ)
上式中γ∈[0~1]称为贴现因子;
对于Policy Gradient‑net中的Online update‑net,使用策略梯度进行神经网络训练,策略梯度为:其中Es~ρ表示s服从以ρ为分布的期望,表示梯度算子;
Q μ
(5)将训练完成的Q‑net和Policy Gradient‑net中的Online update‑net参数θ和θ进行滤波操作后赋值给Q‑net和Policy Gradient‑net中的Filtering‑net参数,滤波操作为:⑤迭代3000次后,Policy Gradient‑net中Online update‑net的2个神经元的输出值即为所要获取的感应电机参数值[Rr,Lm]。