1.一种基于MADDPG的大地电磁数据反演方法,其特征在于,包括以下步骤:
获取观测电磁数据,并从观测电磁数据中提取参与反演的观测地电参数数据;
将电磁数据反演问题定义为强化学习问题,包括:为每类地电参数构建单个智能体,在探索空间多类地电参数对应的多个智能体为合作关系,将智能体探索空间的环境状态视为对地质模型正演得到的预测地电参数数据,以每个智能体输出决策动作看作每类地电参数数据的更新量,该更新量影响下一时刻对地质模型正演的预测地电参数数据,将预测地电参数数据与观测地电参数数据之间的拟合差构建奖励值;
基于定义的强化学习问题,采用MADDPG算法对所有智能体进行强化学习,每次迭代更新智能体参数的同时,还更新每类地电参数数据,进而更新地质模型,实现大地电磁数据反演。
2.根据权利要求1所述的基于MADDPG的大地电磁数据反演方法,其特征在于,采用MADDPG算法对所有智能体进行强化学习时,各智能体从初始地质模型出发对全空间进行探索,并且在搜索过程中智能体遵循多智能体马尔可夫决策过程。
3.根据权利要求2所述的基于MADDPG的大地电磁数据反演方法,其特征在于,每类地电参数对应的智能体采用DDPG算法,包括决策网络、评价网络、目标决策网络、目标评价网络;
所述决策网络根据每类预测地电参数数据采用决策策略生成每类地电参数数据的更新量,该更新量更新每类地电参数数据,并随之更新地质模型参数;
所述评价网络依据所有智能体的决策网络输出的所有类地电参数数据的更新量、所有类地电参数数据的更新量影响下的下一时刻对地质模型正演的预测地电参数数据,计算真实Q值,并依据真实Q值更新决策网络;
所述目标决策网络和目标评价网络定期从决策网络、评价网络复制参数并更新自己参数,所述目标决策网络依据采样的每类预测地电参数数据生成对应的每类地电参数数据的更新量,所述目标评价网络依据生成的所有类地电参数数据的更新量、所有类地电参数数据的更新量影响下的对地质模型正演的预测地电参数数据,计算目标Q值,并依据目标Q值与真实Q值之差构建损失函数来更新评价网络。
4.根据权利要求1所述的基于MADDPG的大地电磁数据反演方法,其特征在于,采用MADDPG算法对所有智能体进行强化学习时,智能体的决策网络在输出每类地电参数数据的更新量时,会获得反馈的奖励值,该奖励值根据预测地电参数数据与观测地电参数数据之间的拟合差构建,且采用势能塑形回报的方式来设计,即奖励值Reward为:Reward=(εt-εt+1)*k (1)
其中,εt和εt+1分别为t时刻与t+1时刻数据之间的拟合差,k为奖励系数,只有当智能体输出合理动作使得拟合差ε减小时奖励为正,拟合差εt和εt+1均采用公式(2)和公式(3)计算,为计算拟合差的中间变量,N表示采样频率,i为采样频率的索引,每个采样频率下对应一组预测地电参数数据与观测地电参数数据α表示噪声百分比。
5.根据权利要求1所述的基于MADDPG的大地电磁数据反演方法,其特征在于,采用MADDPG算法对所有智能体进行强化学习时,将执行决策动作前后智能体的预测地电参数数据、每类地电参数数据的更新量、奖励值以及下一时刻的预测地电参数数据存储于经验回放池中,还以随机抽样方式计算期望回报,并对决策网络和评价网络更新,优化智能体的距车动作使其向着拟合差下降方向搜索。
6.根据权利要求1所述的基于MADDPG的大地电磁数据反演方法,其特征在于,采用MADDPG算法对所有智能体进行强化学习时,设定强化学习终止条件,当达到终止条件时,结束强化学习,得到单次反演更新的每类地电参数数据,以及单次反演得到的地质模型;
其中,终止条件包括预设探索次数或预测地电参数数据与观测地电参数数据的拟合差小于预设阈值。
7.根据权利要求1所述的基于MADDPG的大地电磁数据反演方法,其特征在于,所述方法还包括:基于上次反演更新的智能体参数和初始地质模型,采用MADDPG算法对所有智能体进行再一次的强化学习进行大地电磁数据反演,如此重复,进行多次强化学习的大地电磁数据反演;
对多次强化学习得到的每类地电参数数据进行基于贝叶斯概率统计,基于统计的概率分布筛选概率值最大的地电参数数据值,依据最大地电参数数据值得到最终地质模型。
8.根据权利要求1所述的基于MADDPG的大地电磁数据反演方法,其特征在于,对于各向同性地层,其反演的地电参数数据包括电阻率数据、层厚数据,考虑各向异性时,地电参数数据还包括每层在各轴方向的电阻率数据及旋转角。