欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025107426696
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于深度强化学习的钻井溢流早期识别方法,其特征在于,包括以下步骤:步骤1:数据收集与预处理;

使用真实钻井历史数据对收集的数据进行清洗;采用时间窗口法构建样本,选取出口和进口流量差、立压、甲烷、乙烷、泵冲和大钩高度六个特征量,计算时间窗口内特征量均值、斜率和方差,通过判断相邻窗口统计量变化是否超过阈值,确定是否为溢流并记录标签;

步骤2:基于近端策略优化算法的钻井溢流早期识别模型构建与优化,包括参数初始化、主迭代循环、策略参数更新、价值函数学习以及迭代循环步骤;

步骤3:钻井溢流早期识别;

将实时数据预处理后输入基于近端策略优化算法的钻井溢流早期识别模型;模型利用近端策略优化算法优化后的参数,分析出入口流量差、立压、甲烷、乙烷、泵冲和大钩高度的变化情况,通过判别溢流钻井工艺流程判断是否存在溢流迹象;若检测到溢流迹象,依据Reward函数确定的策略发出预警;

所述步骤2的具体流程如下:

步骤21:参数初始化;

设定超参数截断因子、策略更新子迭代次数M和值函数更新子迭代次数B;初始化策略参数θ和初始价值函数参数;

步骤22:主迭代循环;

从第1次迭代开始,即,每次迭代按以下顺序执行操作:轨迹收集与奖励计算:在钻井环境中执行当前策略πθk,采集轨迹数据集Dk={τi},并计算每个时间步的累积奖励Gt,其中τi为采集到的轨迹数据;

优势函数估计:基于当前价值函数Vϕk,采用优势估计方法计算各状态动作对的优势值At;

步骤23:策略参数更新;

进入策略优化阶段,通过以下子迭代过程更新策略参数:对依次执行:

计算新旧策略的概率比:

;

式中,为新旧策略的概率比;为更新后的策略;为更新前的策略;θold为更新前的策略参数;为更新后的策略参数;为状态动作对的优势值;为时间步t所处的环境状态;

采用Adam优化器,通过随机梯度上升法最大化PPO的截断目标函数:;

式中,为第k+1次策略优化后的策略网络参数;为迭代次数;为轨迹点;为轨迹集合;为时间步;为状态动作对的优势值;为新旧策略的概率比;为裁剪函数;为超参数截断因子;

步骤24:价值函数学习;

完成策略参数更新后,进入价值函数优化阶段,通过以下子迭代过程更新参数:对依次执行:

采用梯度下降法最小化值函数的均方误差:

;

式中,为经过第k+1次策略优化后的价值网络参数;为价值网络对状态的估值;为每个时间步的累积奖励;

步骤25:迭代循环;

重复步骤22至步骤24,直至算法收敛或达到预设终止条件,得到优化后的模型;

所述步骤2中还包括Reward函数构建步骤,具体过程如下:设定一个“甜区”,对位于甜区内标记点赋予最高得分,对甜区外但在溢流发生前和结束后的正常状态标记点赋予负数分数,对实际发生溢流的点给予远低于位于甜区内标记点分数的正数分数;

定义结构化动作空间:

;

式中,为动作空间,即所有可能的动作集合;为动作向量;为动作向量的每一维度;为实数集,为18维实数集;

评分函数公式如下:

;

;

式中,为评分函数;代表甜区内标记点个数;代表甜区外标记点为真实溢流点个数;代表甜区外标记点为非溢流点个数;代表符合方括号内条件的个数;为真实溢流点坐标;为模型预测的第i个溢流点在时间序列中的位置;

所述步骤3中,判别溢流钻井工艺流程具体如下:首先检查出入口流量差或立压是否增大,若未增大,则当前流量变化可能是正常波动,若增大,检查甲烷或乙烷含量是否增多;若甲烷或乙烷含量增多,则判断存在溢流迹象,若未增多,检查泵冲是否增大;若泵冲增大,则当前流量变化可能是正常波动,若未增大,检查大钩高度是否减少;若大钩高度减少,则当前流量变化可能是正常波动,若未减少,则判断存在溢流迹象。

2.根据权利要求1所述的基于深度强化学习的钻井溢流早期识别方法,其特征在于,所述步骤1中,数据清洗时将无效数据点替换为零并剔除信息不全的特征;采用时间窗口法构建样本时以380个时间片为单位构建时间序列矩阵,滑动步长为1。