欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202510351673X
申请人: 暨南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于双智能体邻域搜索算法的混合流水车间调度方法,其特征在于,具体步骤如下:

步骤一:研究混合流水车间的现实生产场景,挖掘约束条件,分析主要影响生产周期的调度问题:

在HFSP车间,有个工件需要按顺序通过个处理阶段,每个阶段存在台可选择机器,并且至少有一个阶段满足,,在每个阶段,工件能且只能选择一台机器进行加工,完成当前阶段加工后,任务立即进入后续加工阶段,,所有工件和机器在0时刻都是准备好的,机器在同一时刻只能加工一个工件且加工过程不允许中断,所有工件在每个阶段的加工时间是已知的,并且不考虑工件在前后两个阶段间的运输时间和机器的准备时间,优化目标是最大限度减少生产周期,即获取最小化的最大完工时间,调度任务是确定每个阶段的工件序列和机器分配;

步骤二:根据问题特性,设计编码、解码策略,将解决方案符号化表示:

编码是解决方案的表示方法,混合流水车间调度的任务是确定每个阶段的工件序列和机器分配,采用一个行列的二维矩阵表示解决方案,为阶段数量,为工件数量,在车间有3个阶段,5个工件的情况下,其解决方案表示如下:;

解码是将解决方案转化为实际的调度方案,针对每个阶段的工件序列,工件在矩阵第行的位置就表示其在第阶段的加工顺序,根据矩阵,第一阶段的工件序列为,即第一阶段工件的加工顺序依次为工件3、工件2,工件1,工件5和工件4,对于机器分配,采用“最先空闲”规则,即优先将工件分配给最先处于空闲状态的机器进行加工,如同时存在多台空闲机器,则随机将其分配给其中一台进行加工;

步骤三:构造基于马尔可夫决策过程的智能体,设计状态空间、动作空间、状态转移、奖励函数和神经网络架构:

基于马尔可夫决策过程构建了2个智能体:和,其中,根据每个决策时刻点待加工工件的特征确定每个阶段的工件序列,从而快速生成初始解决方案,根据当前解下的车间环境选择最优邻域扰动策略,驱动解向着有潜力的方向进化;

步骤四:引入自适应探索机制和动态接收准则来平衡算法的开发和探索能力:

在智能体和训练过程中,为防止智能体始终选择值最高的动作而过度依赖特定的状态-动作组合,从而限制它们对其他策略的探索,影响识别潜在最优解的能力,引入了一种基于策略的自适应探索机制,以平衡智能体的动作选择概率;

在每个决策点,生成一个随机数,如果大于阈值,智能体将选择当前状态下拥有最高Q值的动作,相反,如果小于或等于,智能体将从可选动作中随机选择一个动作,阈值在训练过程中线性变化,,其中表示训练总迭代次数,表示当前训练次数;随着训练的进行,逐渐减小,在鼓励算法多利用已学习到的知识的同时,仍保留探索能力,这种自适应探索机制确保了学习过程的平衡,既促进了最优策略的识别,又鼓励了对新可能性的探索;

为平衡算法的局部搜索能力和全局搜索能力,构建一个动态接受准则,在算法每次迭代结束时,将当前解与最优解进行比较,如果当前解优于最优解,则用当前解更新最优解,并将其作为下次迭代进化的初始解,否则,生成一个随机数;

步骤五:训练智能体,构造双智能体邻域搜索算法:

训练智能体和,它们的参数设置不同,但是训练步骤一致,首先,初始化经验回放缓冲区和奖励缓冲区,构建评估网络和目标网络,,接下来开始循环训练,在每个训练回合,智能体要先重置环境并初始化累积奖励,在每个决策点,智能体基于当前状态选择动作,执行动作使智能体进入下一个状态,计算即时奖励,并将状态转移存储在经验回放缓冲区中,一旦达到预定义的阈值,就从中随机采样一批数据,使用评估网络和目标网络计算值和损失函数,然后,使用Adam优化器最小化,并更新评估网络,在每次训练的最后,计算最近10个回合的平均奖励,并将其与记录的最佳平均奖励进行比较,如果,则保存当前目标网络;

步骤六:生成高效调度方案,实现生产的实时调度和动态调整,并将所提方法与常用方法进行对比,验证所提方法的高效性:

在车间生产过程中,传感器实时监测车间设备、工件和环境数据,并将这些数据反馈给车间调度系统,调度系统根据当前的实时数据进行分析,并提供双智能体邻域搜索算法获取当前车间环境下的最优操作,进而生成最优调度决策方案,随后,车间调度系统执行该决策方案,实现对车间生产的高效调度规划以缩短工件的生产周期;

为了进一步验证基于双智能体邻域搜索算法的调度方法求解混合流水车间调度的高效性,将其与求解此类问题常用的遗传算法(GA)和迭代贪婪算法(IG)在100个仿真实例上进行对比。

2.根据权利要求1所述的一种基于双智能体邻域搜索算法的混合流水车间调度方法,其特征在于:步骤三中所述的和状态空间设计方式为:在HFSP中,存在个阶段和个工件,共有个决策时刻点,在每个决策点,只能调度已经到达当前阶段的工件,根据中工件的加工时间、到达时间和等待时间,为设计12个状态;根据当前解决方案下的车间环境选择最佳邻域搜索策略,根据工件和机器状态特征,为其设计6个状态,其中,表示已经到达阶段且未加工的工件集合。

3.根据权利要求1所述的一种基于双智能体邻域搜索算法的混合流水车间调度方法,其特征在于:步骤三中所述的和动作空间设计方式为:的动作为从集合选择工件的策略,根据集合中工件的加工时间、到达时间和等待时间,构造9种工件选择规则(JSR);根据当前解下的车间环境选择最优邻域搜索策略来生成新的解,这些邻域搜索策略构成了的动作空间,基于swap和insert运算符,为其设计四种邻域搜索策略(NS),其中,表示已经到达阶段且未加工的工件集合。

4.根据权利要求1所述的一种基于双智能体邻域搜索算法的混合流水车间调度方法,其特征在于:步骤三中所述的和奖励函数设计方式为:奖励函数被设置为最小化两个连续决策之间系统完成时间的差异,时刻的奖励为这两个完成时间差异的负值,即,其中,表示决策时刻的完成时间,表示决策时刻的完成时间,表示和在时刻的奖励函数。

5.根据权利要求1所述的一种基于双智能体邻域搜索算法的混合流水车间调度方法,其特征在于:步骤三中所述的和状态转移设计方式为:在每个决策点t,智能体根据当前状态,执行行动,并从环境中获得奖励作为反馈,这种交互导致系统转移到一个新的状态,在和中,使用四元组来表示状态转移,并将其存储在经验池中,以供后续训练和决策使用。

6.根据权利要求1所述的一种基于双智能体邻域搜索算法的混合流水车间调度方法,其特征在于:步骤三中所述的和网络结构设计方式为:和都使用一个五层全连接神经网络,网络的输入是智能体的状态特征,而输出则对应于动作空间。

7.根据权利要求1所述的一种基于双智能体邻域搜索算法的混合流水车间调度方法,其特征在于:步骤四中所述的动态接受准则中,,其中,表示算法的总运行时间,表示当前已运行时间。

8.根据权利要求1所述的一种基于双智能体邻域搜索算法的混合流水车间调度方法,其特征在于:步骤六中所述的在100个仿真实例具体对比方法为:收集了100个仿真实例,阶段规模分别为,工件数量分别为,共种组合,每种组合生成5个不同的实例,因此共100个实例,在每个实例中,每个阶段的机器数量在[1-5]范围内随机生成,加工时间在[10-50]范围内随机生成,对于每个实例,本发明所提方法、遗传算法和迭代贪婪算法分别求解10次,计算每种算法10次求解的平均目标值,并且计算每种组合中5个实例的平均值(Ave),同时引入了相对百分比增长(RPI)指标进行度量。

9.根据权利要求8所述的一种基于双智能体邻域搜索算法的混合流水车间调度方法,其特征在于:所述相对百分比增长(RPI)指标度量公式为:;

其中,为所有算法求得的最佳目标值,为每个算法10次求解的平均值。