欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024117512566
申请人: 湖南科技学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于拓扑熵分解的深度记忆迁移学习方法,其特征在于,包括如下步骤:S1.获取源任务数据集和目标任务数据集,对源任务数据集和目标任务数据集分别进行数据清洗、特征提取和标准化处理;

S2.使用深度神经网络对预处理后的源任务数据集进行训练,生成源任务训练模型;

S3.对源任务训练模型进行拓扑熵分析,计算源任务训练模型中各网络节点的拓扑熵值,量化各节点在源任务训练模型整体性能中的贡献度;

S4.基于拓扑熵值按照预设的剪枝阈值筛选出低拓扑熵节点和高拓扑熵节点,将低拓扑熵节点从源任务训练模型中剪除,获得剪枝后的优化源任务模型;

S5.对优化源任务模型进行迁移适配,结合目标任务数据集的特征分布计算优化源任务模型的各层结构与目标任务的相似性指标,调整优化源任务模型的权重初始化方式和结构参数;

S6.使用目标任务数据集对优化源任务模型进行初步训练,生成初步迁移模型,记录初步迁移模型在目标任务上的性能指标;

S7.对初步迁移模型再次进行拓扑熵分析,计算迁移过程中新增网络节点的拓扑熵值,结合性能指标优化初步迁移模型结构,进一步剪除迁移过程中冗余的低拓扑熵节点,生成目标任务网络模型;

S8.在目标任务网络模型中嵌入深度记忆模块,利用深度记忆模块存储源任务模型中的高拓扑熵节点特征和迁移过程中的历史经验;

S9.对包含深度记忆模块的目标任务网络模型进行最终训练,在训练过程中动态监测模型的拓扑熵变化,调整深度记忆模块的使用策略和剪枝规则;

S10.输出训练完成的目标任务网络模型,并对剪枝优化过程进行记录,形成可重复使用的模型优化模板。

2.根据权利要求1所述的一种基于拓扑熵分解的深度记忆迁移学习方法,其特征在于,所述S1具体包括:S11.获取源任务数据集和目标任务数据集其中,和分别表示源任务数据集和目标任务数据集的特征向量,和分别表示源任务数据集和目标任务数据集的标签值,Ns和Nt分别表示源任务和目标任务的数据样本数量;

S12.对源任务数据集Ds和目标任务数据集Dt进行数据清洗,去除数据集中存在的异常样本;

S13.对清洗后的源任务数据集和目标任务数据集进行特征提取,通过预定义的特征映射函数φ(x)提取有效特征,提取后的源任务特征集和目标任务特征集S14.对提取后的源任务特征集Fs和目标任务特征集Ft进行标准化处理,得到标准化后的源任务特征集F′s和目标任务特征集F′t。

3.根据权利要求1所述的一种基于拓扑熵分解的深度记忆迁移学习方法,其特征在于,所述S2具体包括:S21.使用标准化后的源任务特征集和标签集作为输入数据构建深度神经网络模型;

S22.初始化深度神经网络模型的权重参数和偏置项,所述深度神经网络包括输入层、若干隐藏层及输出层,各层的权重矩阵和偏置项分别为其中,L表示神经网络的层数,Wk为第k层的权重矩阵,bk为第k层的偏置项;

S23.使用前向传播算法对深度神经网络进行训练,将标准化后的源任务特征作为输入,经过每一层的线性变换和激活函数处理计算得到输出ak=σk(Wk·ak-1+bk+∈k·Δk+λ·Ωk),k=1,2,…,L;

其中,σk(·)为第k层的激活函数,∈k为与第k层有关的拓扑扰动因子,用于在训练中引入拓扑熵扰动,Δk表示节点间的相互作用矩阵,λ为正则化系数,Ωk为拓扑约束项,ak为第k层的激活输出,表示模型的预测输出;

S24.使用拓扑加权均方误差损失函数计算源任务训练模型的损失值:其中,为真实标签,为预测输出,Hk为第k层的拓扑熵值,βk为拓扑加权系数,用于调节损失函数中每层拓扑熵对整体损失的贡献;

S25.使用反向传播算法计算损失值相对于各层权重和偏置项的梯度和其中,γ为拓扑正则化因子,用于平衡拓扑熵对梯度的影响,ηk为动态调整因子,Δk表示节点间相互作用矩阵的影响对梯度的贡献;

S26.使用梯度下降法更新权重和偏置项:

其中,η为学习率,νk为第k层的拓扑约束影响因子,Ωk为拓扑约束项,通过对各层网络拓扑结构的约束优化网络结构的稳定性和平衡性;

S27.重复步骤S23至S26,直至满足预设的收敛条件,输出源任务训练模型。

4.根据权利要求1所述的一种基于拓扑熵分解的深度记忆迁移学习方法,其特征在于,所述S3具体包括:S31.构建源任务训练模型的拓扑结构图:

G=(V,E);

其中,V表示源任务训练模型中的节点集合,E表示节点之间的连接关系,对于每个节点,定义其连接权重为wij,表示节点vi和vj之间的权重强度;

S32.对源任务训练模型的每个节点计算节点的局部信息熵量化节点在局部拓扑结构中的复杂度:其中,表示节点vi的邻域集合;

S33.计算源任务训练模型整体的全局拓扑熵描述模型整体的复杂度:其中,表示节点vi的度;

S34.结合局部信息熵和全局拓扑熵计算每个节点的拓扑贡献度Ci:其中,α∈[0,1]为调节系数,用于平衡局部和全局拓扑特性的权重;

S35.对所有节点的拓扑贡献度进行归一化处理,得到归一化的节点拓扑熵值其中,表示节点vi在整体模型中的相对贡献度。

5.根据权利要求1所述的一种基于拓扑熵分解的深度记忆迁移学习方法,其特征在于,所述S4具体包括:S41.设置低拓扑熵节点的剪枝下限τlow和高拓扑熵节点的保留上限τhigh,τlow<τhigh,根据拓扑熵值将模型节点分为低拓扑熵节点集Vlow和高拓扑熵节点集Vhigh;

S42.对低拓扑熵节点集Vlow中的节点及其连接进行剪除,更新源任务训练模型的拓扑结构图为G′=(V′,E′):V′=V\Vlow;

E′=E\{eij∣vi∈Vlow或vj∈Vlow};

S43.更新剪枝后的节点权重矩阵W′k和偏置项b′k:其中,wij和bij分别表示与被剪枝节点相关的权重值和偏置项的贡献;

S44.对更新后的拓扑结构图G'重新计算节点连接强度,调整高拓扑熵节点集Vhigh的网络重要性,重新定义高拓扑熵节点的连接权重w′ij;

S45.对剪枝后的模型重新计算损失函数,并通过优化调整网络权重和偏置项,损失函数定义为:其中,H′k为剪枝后模型的全局拓扑熵值,βk和γ1为权重系数;

S46.输出剪枝后的优化源任务模型,包括更新后的网络权重矩阵、偏置项以及优化后的拓扑结构图。

6.根据权利要求1所述的一种基于拓扑熵分解的深度记忆迁移学习方法,其特征在于,所述S5具体包括:S51.获取目标任务数据集的特征分布信息,计算目标任务数据集特征集的均值向量μt和协方差矩阵Σt;

S52.对优化后的源任务模型(W′k,b′k)进行拓扑层次分析,提取优化源任务模型各层节点的特征分布,计算每层特征均值向量μ′k和协方差矩阵Σ′k:其中,为优化源任务模型第k层的节点激活值,Ns为源任务样本数量;

S53.计算目标任务特征分布(μt,Σt)与优化源任务模型各层特征分布(μ′k,Σ′k)之间的相似性指标Sk,定义相似性指标为特征分布之间的最大均值差异和协方差偏差的加权和:其中,α1和β1为加权系数,||·||表示矩阵的Frobenius范数;

S54.根据计算得到的相似性指标Sk调整优化源任务模型的权重初始化方式,定义调整后的权重初始化矩阵S55.基于调整后的权重初始化矩阵和偏置项重新定义优化源任务模型的结构参数:其中,ηk1为偏置项的动态调整因子。

7.根据权利要求1所述的一种基于拓扑熵分解的深度记忆迁移学习方法,其特征在于,所述S6具体包括:S61.使用目标任务数据集的标准化特征集和对应标签集作为输入数据,将目标任务特征输入到迁移适配后的优化源任务模型中,依次通过每一层的线性变换和激活函数处理,最终得到预测输出;

S62.计算目标任务训练阶段的初步损失函数;

S63.使用反向传播算法计算损失函数相对于模型权重和偏置项的梯度;

S64.使用梯度下降法对模型权重和偏置项进行更新;

S65.重复步骤S61至S64,对目标任务数据集进行多轮迭代训练,直至满足预设的训练收敛条件,生成初步迁移模型,记录初步迁移模型在目标任务上的性能指标,包括目标任务的预测误差和模型在目标任务上的准确率。

8.根据权利要求1所述的一种基于拓扑熵分解的深度记忆迁移学习方法,其特征在于,所述S7具体包括:S71.对初步迁移模型的网络拓扑结构进行拓扑熵分析,计算迁移过程中新增网络节点的局部拓扑熵和全局拓扑熵,局部拓扑熵用于描述新增节点与其邻域节点之间的连接复杂度,全局拓扑熵用于衡量新增节点对整个网络的整体复杂度贡献;

S72.结合目标任务的性能指标定义新增节点的综合重要性权重,综合节点的局部拓扑熵、全局拓扑熵、目标任务的预测误差和模型准确率对节点重要性的影响,综合重要性权重计算为:其中,α2、β2、γ2和δ1为重要性权重调节系数,为局部拓扑熵,为全局拓扑熵;

S73.设置综合重要性权重的剪枝阈值,筛选出低权重节点集,低权重节点集为权重值低于剪枝阈值的新增节点,并将低权重节点标记为冗余节点;

S74.对标记为冗余的低权重节点及其连接进行剪除,更新初步迁移模型的拓扑结构,生成目标任务网络模型。

9.根据权利要求1所述的一种基于拓扑熵分解的深度记忆迁移学习方法,其特征在于,所述S8具体包括:S81.在目标任务网络模型中嵌入深度记忆模块,深度记忆模块包括存储单元、更新单元和读取单元,用于存储源任务模型中的高拓扑熵节点特征、动态更新历史迁移经验以及提供目标任务训练过程中所需的历史信息;

S82.从源任务模型中提取高拓扑熵节点的特征,并将其存储到深度记忆模块的存储单元中,对迁移过程中的历史高权重节点特征按照时间序列进行记录形成连续的特征历史轨迹;

S83.定义深度记忆模块的更新机制,根据目标任务网络模型的实时训练状态和性能表现动态更新存储单元内容,剔除冗余特征并补充新的高重要性节点特征;

S84.定义深度记忆模块的读取机制,根据目标任务训练的需求从存储单元中选择与目标任务特征具有高相似度的历史特征,通过读取单元动态加载相关经验,优化任务网络模型的学习效率。