欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021104365442
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-17
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于自编码器多样性生成机制的集成学习软测量建模方法,其特征在于,包括以下步骤:

步骤(1)利用集散控制系统或离线检测的方法,收集工业过程数据,并确定关键质量变d

量y和辅助变量x,x=[x1,x2,...,xd]∈R ,xd代表样本的第d个特征,x为d个辅助变量构成的向量;

步骤(2)基于Z‑Score归一化方法,对数据集进行归一化预处理,得到均值为0,方差为1的数据集,并划分为训练集Dtrn、测试集Dtest和验证集Dval;

步骤(3)构建多样性的自编码器AE,通过对神经网络设置不同层次结构和参数的组合,构建一组多样的深度自编码网络,用于提取原始数据的隐层特征表示;

所述步骤(3)中多样性自编码器生成机制的建立过程为:通过设置隐层节点数、稀疏性参数、稀疏惩罚项以及堆栈的自编码器个数等不同的参数组合,生成多样性的自编码器,以提取原始数据的隐变量;

T d T h

1)对于自编码器AE,假设x=[x1,x2,...,xd]∈R和h=[x1,x2,...,xh]∈R分别表示AE的原始输入和隐层,d和h分别为输入和输出的维度; 是输出层的重构输入变量向量;利用编码器,x通过非线性激活函数f转换为隐藏特征h:h=f(Wx+b)    (1)

h×d h

其中,W∈R 和b∈R 分别为输入层和隐含层间权重矩阵和偏置项,然后,输入向量 通过解码器的输出层对隐变量向量h进行重构获得:和 分别为隐藏层和输出层之间的权重矩阵和偏置向量,给定N个训练样本,有样本矩阵X={x1,x2,...,xN},对应的隐层特征矩阵是H∈{h1,h2,...,hN},输入数据T d

重构矩阵是 对于第i个样本xi=[x1,x2,...,xd]∈R ,通过反向传递算法优化最小化其重构误差,误差函数如下:

2)堆栈自编码器SAE,采用的是两个AE进行叠加,第一个AE获得的隐层特征将作为第二T h1

个自编码器的输入,第一层自编码器的实现方式同上1),假设h1=[x1,x2,...,xh1]∈R 为样本通过第一个自编码器的提取的隐变量,对于第二个自编码器,以h1作为输入向量通过T h2

非线性激活函数f转换为隐藏特征h2=[x1,x2,...,xh2]∈R ,根据式(1)有:h2=f(W2f(W1x+b1)+b2)    (4)h1×d d

其中,W1∈R 和b1∈R分别为第一个自编码器输入层和隐含层间的权重矩阵和偏置h2×h1 h1

项,W2∈R 和b2∈R 分别为第二个自编码器输入层和隐含层间的权重矩阵和偏置项,然后,输入向量 通过解码器的输出层对隐变量向量h2进行重构获得:和 分别为第二个自编码器的隐藏层和输出层之间的权重矩阵和偏置向量,给定N个训练样本,有样本矩阵X={x1,x2,...,xN},对应第一层的隐层特征矩阵为H1={h1,1,h1,2,...,h1,N},第二层的隐层特征矩阵为H2={h2,1,h2,2,...,h2,N},输入数据的T d

重构矩阵是 对于第i个样本xi=[x1,x2,...,xd]∈R ,SAE通过反向传递算法优化最小化其重构误差,误差函数如下:根据以上1)、2)两个步骤,将利用多样性条件的自编码器提取原始数据的多组隐变量特征集;

步骤(4)针对工业过程中呈现出的非线性和时变性,选择高斯过程回归GPR模型作为基模型,结合步骤(3)中生成的多样性自编码器构成AE‑GPR子模型;

步骤(5)利用验证集Dval,验证步骤(4)中生成的AE‑GPR子模型的性能,基于新生成AE‑GPR子模型较之在GPR模型上的验证性能不能恶化的假设,设定防止模型恶化阈值,选出一组兼顾模型复杂度和预测精度的基模型;

步骤(6)采用多目标进化优化算法,对步骤(5)中验证集Dval的预测结果进行优化估计,即对第一次集成模型修剪保留下来的基模型进行二次选择,最终获得Sselect个多样性充分、预测精度高的软测量AE‑GPR模型;

步骤(7)引入集成策略将获得的Sselect个AE‑GPR基模型进行融合,并利用测试样本进行测试,最终实现对关键质量变量的离线估计。

2.根据权利要求1所述的基于自编码器多样性生成机制的集成学习软测量建模方法,其特征在于,所述步骤(4)多样性AE‑GPR模型建立过程如下:假设有原始数据集为 经过步骤(3)的多样性自编码器数据预处理,将获得M个隐变量数据集,并由每个数据集训练和构建M个AE‑GPR子模型,Dm表示训练第m个AE‑GPR模型的隐变量数据集,N表示数据集的样本个数,xm,i表示第m个训练集的第i个样本,yi为对应的真实标签值,对于数据集Dm中的每个样本xm,i在高斯过程回归模型中的预测输出 服从高斯分布:式(7)中,E(.)和Var(.)分别表示均值和方差算子;

所述高斯过程回归模型可描述为:

T

式(8)中,km,i=[C(xi,xm,1),…,C(xi,xm,N))] ,C是一个由X中每个样本彼此之前作协方差组成的N×N阶对称正定矩阵, 和 分别为第m个AE‑GPR模型的预测均值与方差。

3.根据权利要求2所述的基于自编码器多样性生成机制的集成学习软测量建模方法,其特征在于,所述步骤(5)通过一级模型修剪获得验证预测性能无恶化基模型的实现过程如下:

1)首先,基于新生成的AE‑GPR子模型较之在高斯过程回归模型上的验证性能不能恶化,否则其在测试样本上预测性能也将恶化的假设,设置模型提升率阈值Rimprove=0;

2)其次,利用原始训练数据集Dtrn训练GPR基模型,验证集Dval进行验证,Dval={Xval,yval},验证集标签矩阵yval对应的预测结果为 验证误差为RMSEval:为第i个验证样本的预测值,yi为真实值;

3)再次,根据所述步骤(3)、(4)构建的多样性AE‑GPR子模型,利用训练集和验证集训练和验证每个模型,获得验证误差

4)根据2)、3)计算模型的性能提升率如下;

5)对于第m个AE‑GPR基模型,根据模型性能提升率,若 则表示模型鲁棒性高,则保留模型,通过一级模型修剪,将获得S个兼顾多样性和稳定性的基模型。

4.根据权利要求3所述的基于自编码器多样性生成机制的集成学习 软测量建模方法,其特征在于,所述步骤(6)基于进化优化算法的二级集成修剪建立过程如下:

1)在一级集成修剪的基础上,采用进化多目标优化算法,据步骤(5)获得的验证集的预测输出 将这N个预测输出作为待优化的决策变量,令目标优化函数f1及优化约束函数如下:式(12)中 为待优化的精度目标函数, 为待优化的决策变量,lb和ub分别为变量y的约束下限和约束上限,精度目标函数定义为基于验证数据的平均预测误差:其中,RMSEs,val为验证样本集在第s个模型上的预测均方根误差;

2)目标函数f2定义为基于验证数据的任意一个模型与任意一个模型相关系数和的平均值,即可将多样性目标函数f2的定义为如下:Sselect为最终选择的基模型数,式(14)中第α个AE‑GPR模型和第β个AE‑GPR模型的相关系数为r(eα,eβ):

任意两个误差之间的协方差由Cov(*,*)、方差由Var(*)表示,所以目标函数设定为式(14)和(15),根据目标函数最小化,模型精度和多样性最高,可将优化问题转化为如下:min[f1,f2]=min[RMSEavg,val,ravg,val]     (16)

3)设置的种群数、迭代次数和Pareto解个数范围分别为100‑300、50‑100和5‑20,通过迭代、优化、选择、并解码Pareto最优解集,获得二次修剪的Sselect个AE‑GPR集成基模型。

5.根据权利要求4所述的基于自编码器多样性生成机制的集成学习软测量建模方法,其特征在于,所述步骤(7)采用GPRStacking集成策略将最终获得的Sselect个模型进行融合,最终实现对工业过程中关键质量变量的监测:

1)利用测试集通过步骤(4)构建的多样性AE‑GPR模型得到测试样本的预测输出

2)根据GPRStacking集成的思想,通过步骤(6)选择的Sselect个子模型,获得每个验证样本对应的Sselect个预测值 和Sselect个测试样本的预测值 并将每个验证样本的Sselect预测值组合为一个新向量 作为新的训练样本,每个测试样本的Sselect个预测值 作为新的测试输入 验证样本的真实标签作为新训练样本集的真实标签,以此训练并测试AE‑GPR模型,获得最终的集成预测输出