1.一种结合临床先验奖励的近端策略优化算法的18F-FDG PET/CT肝癌动力学参数估计方法,其特征在于,具体包括以下步骤:Step1、获取临床肝脏PET/CT影像,捕获HCC患者的18F-FDG示踪剂摄取的时间过程;
Step2、手动勾画感兴趣区域ROI,逐层调整 ROI,获取由每一帧最大SUV组成的时间-浓度活动曲线TAC及其数据;
Step3、对Step2中获取到的TAC数据进行划分数据集;
Step4、构建可逆双输入三房室模型的数学模型;
Step5、构建结合可逆双输入三房室模型的智能体交互环境,包括定义动力学参数状态、动作分布以及动作空间、设计奖励函数;其中奖励函数部分根据参数临床先验知识,包括先前研究得到的参数的上下限以及个别参数的预期参数范围,改进设计智能体交互环境中的奖励函数;
Step6、搭建近端策略优化PPO算法的整体框架,包括策略网络、值函数网络、用于计算优势函数的广义优势估计算法以及新旧策略的裁剪比率超参数;
Step7、使用结合医学先验奖励的近端策略优化算法进行房室模型参数估计并对肝细胞癌组织与正常肝组织的灌注和代谢参数进行描述分析、统计分析与其他临床分析;所述Step4中的可逆双输入三房室模型的数学形式用一组常微分方程组来描述:;
;
其中为时间变量,为组织浓度函数,计算时按照公式进行,其表达式为,为PET扫描协议的总帧数,模型系统的矩阵形式表达为:;
解该常微分方程组得到:
;
对于PET图像中的目标区域,模型不仅仅考虑区域内的组织内示踪剂活度,还考虑血液中示踪剂浓度的比例;因此,参数血容积因数用来对组织浓度和血液输入浓度做加权和,最终得到目标区域的总输出浓度:;
所述Step5中的智能体交互环境中,参数状态被定义为:;
智能体能动作分布被定义为一个12维度的离散空间:
;
在奖励函数的设定上,提出一种结合动力学参数的临床先验知识的奖励函数,其计算公式为:;
;
;
;
;
其中,为多种奖励信号,为奖励信号的权重,表示时刻,为该时刻所得的奖励值。
2.根据权利要求1所述的结合临床先验奖励的近端策略优化算法的18F-FDG PET/CT肝癌动力学参数估计方法,其特征在于:所述Step1的具体步骤如下:Step1.1. 对肝脏进行一个床位的低剂量的CT平扫;紧接着在2mL 0.9%盐水中快速手动施加18F-FDG,为了使示踪剂更快地进入心肺循环,以2mL/s的流速用20mL 0.9%的生理盐水进行冲刷;完成注射后,进行5分钟的肝脏PET扫描;常规静态PET/CT扫描在18F-FDG推注后约60分钟进行,首先从颅骨顶点到大腿近端进行总共11个床位的全身CT扫描,然后在每个床位上进行1分钟PET扫描;
Step1.2. 扫描后采用短期PET采集协议,利用标准有序子集期望最大化OSEM算法进行PET 图像重建,前1分钟数据重建为12帧,间隔5秒,后四分钟的数据被重建为4帧,间隔60秒,第60分钟选取1帧肝脏静态PET图像,总共获得17帧PET图像,并与CT图像进行融合配准。
3.根据权利要求1所述的结合临床先验奖励的近端策略优化算法的18F-FDG PET/CT肝癌动力学参数估计方法,其特征在于:所述Step2中,若该患者病变中18F-FDG摄取不明显,则相对于常规CT图像绘制 ROI;腹主动脉和门静脉的 ROI 位于血管横截面的大约三分之二处,为了将HCC肿瘤与周围无肿瘤的肝组织进行比较,在无肿瘤的肝脏组织中绘制相应的ROI,勾画过程中尽可能的避免肝脏内部血管对SUV的干扰;将ROI复制到PET/CT融合图像中,获取由每一帧最大SUV组成的时间-浓度活动曲线TAC。
4.根据权利要求1所述的结合临床先验奖励的近端策略优化算法的18F-FDG PET/CT肝癌动力学参数估计方法,其特征在于:所述Step2中,手动勾画感兴趣区域包括肝细胞癌,正常肝组织,动脉和门静脉。
5.根据权利要求1所述的结合临床先验奖励的近端策略优化算法的18F-FDG PET/CT肝癌动力学参数估计方法,其特征在于:所述Step6中采用的是基于剪切的近端策略优化算法,首先使用广义优势估计算法对优势值进行计算,其公式如下:;
其中,为奖励折扣系数,为0~1之间的常数,为GAE优势函数的计算方法,为第时刻的单步总奖励,为经历的步数,表示状态价值函数,表示时刻的状态;
然后PPO对Actor和Critic网络进行多次更新,对于Critic网络,损失函数的计算方式为:;
式中,表示时刻的奖励,表示当前时刻,表示状态价值函数,表示值函数网络的参数,表示时刻的状态;
对于Actor网络,目标函数的计算方式则为:
;
其中,表示模型参数,表示目标函数的期望,表示裁剪系数,表示新的策略函数,表示旧的策略函数,表示新旧概率策略比率。
6.根据权利要求1所述的结合临床先验奖励的近端策略优化算法的18F-FDG PET/CT肝癌动力学参数估计方法,其特征在于:所述Step7中进行的描述分析与统计分析包括均方根误差RMSE、曲线下面积AUC以及T检验,P<0.05视为具有统计学差异;此外,还包括对动力学参数K1、k2、k3、k4、fa、vb在肿瘤和正常肝组织之间的差异进行分析,以评估其临床意义。