1.基于多模态生理信号的强化学习奖励函数构建方法,其特征在于,所述方法包括如下步骤:S1、多模态数据采集存储:实时采集车辆状态数据、驾驶行为数据和多模态生理信号;
S2、多模态生理压力评估:根据多模态生理信号,输出生理压力得分,具体包括:数据缓存与同步、特征提取与标准化、结构化提示词构建、LLM零样本推理及分数解析;
S3、生理奖励代理模型构建及训练:构建一个通过车辆状态数据和驾驶行为数据能够推断出预测生理压力得分的生理奖励代理模型,训练标签为;
S4、生理压力推断:利用训练好的生理奖励代理模型生成与对应的预测生理压力得分;
S5、生理奖励计算:采用反向映射函数将预测生理压力得分转化为设定区间的生理奖励;
S6、任务奖励计算:基于车辆状态数据构建多目标的加权奖励函数,计算任务奖励;
S7、奖励混合:将任务奖励和生理奖励进行加权求和得到最终奖励;
S8、离线数据集构建:将步骤S1采集的当前车辆状态数据,当前驾驶行为数据和下一时刻车辆状态数据以及步骤S7计算的最终奖励,按照时间步对齐,组合成四元组,并存储为数据集文件,输出离线强化学习数据集;
S9、策略训练:利用离线强化学习数据集,利用离线强化学习算法训练出融合驾驶员生理偏好的自动驾驶策略模型。
2.根据权利要求1所述的基于多模态生理信号的强化学习奖励函数构建方法,其特征在于,车辆状态数据包括车速、纵向加速度、横向加速度、车辆质心位置、车道中心线位置、车辆与前车的纵向相对距离和车辆与前车的纵向相对速度;驾驶行为数据包括油门踏板位置、刹车踏板位置和转向盘角度;多模态生理信号包括注意力区域信号、座椅压力信号、心率变异率信号和皮肤电信号。
3.根据权利要求2所述的基于多模态生理信号的强化学习奖励函数构建方法,其特征在于,根据多模态生理信号,输出生理压力得分具体为:S2-1、数据缓存与同步:为每路信号启动一个定时同步分析器,从各缓存队列中提取时间窗口内的所有数据;
S2-2、特征提取与标准化:将时间窗口内的数据序列,通过统计分析,转换为低维的和人类可读的统计文本描述;
S2-3、结构化提示词构建:将所有所述统计文本描述进行拼接,并加入系统指令和预设的评估规则,构建一个完整的结构化提示词;
S2-4、LLM零样本推理:将构建的结构化提示词输入到一个大型语言模型LLM中,利用LLM的零样本推理能力,根据提示词中的评估规则和数据详情,实时推理出生理压力评估分数;
S2-5、分数解析:通过解析器从LLM的输出文本中提取生理压力评估分数,得到标准化的生理压力得分。
4.根据权利要求3所述的基于多模态生理信号的强化学习奖励函数构建方法,其特征在于,构建生理奖励代理模型具体为:采用长短期记忆网络/门控循环单元/Transformer网络作为基础模型,采用一个时间窗口内的车辆状态数据和驾驶行为数据作为训练输入,采用对应时间窗口的生理压力得分作为训练标签,进行迭代训练,直至获得训练完成的生理奖励代理模型。
5.根据权利要求4所述的基于多模态生理信号的强化学习奖励函数构建方法,其特征在于,反向映射函数具体为:;其中,表示最大生理奖励基准值,它是当预测的生理压力得分为0时,智能体能获得的最高奖励分,表示生理压力惩罚系数,它决定了随着压力升高,奖励下降的幅度。
6.根据权利要求5所述的基于多模态生理信号的强化学习奖励函数构建方法,其特征在于,计算任务奖励具体为:,其中,、、和分别为加权系数,为速度奖励,为舒适度奖励,为车道保持奖励,为安全奖励;
,其中,为预设的目标车速,为预设的归一化缩放常数;
,其中,为预设的最大舒适加速度阈值;
,其中,为从车辆状态数据中获取的车辆质心与车道中心线的横向偏移量,为预设的奖励衰减系数;
,其中,和为预设的惩罚系数,当时,;当时,设为无穷大。
7.根据权利要求6所述的基于多模态生理信号的强化学习奖励函数构建方法,其特征在于,离线强化学习算法为ConservativeQ-Learning算法/ImplicitQ-Learning算法/TD3+BC算法。
8.基于多模态生理信号的强化学习奖励函数构建系统,其特征在于,所述系统包括数据获取模块、标签定义模块、模型训练模块、奖励计算模块、奖励混合模块、数据集构建模块和策略训练模块;
数据获取模块:用于多模态数据采集存储,包括用于连接CAN总线的接口、用于连接驾驶员监控系统DMS摄像头的接口、用于连接基于远程光电容积描记rPPG的非接触式光学传感器的接口、用于连接座椅压力传感器的接口以及用于连接皮肤电导EDA传感器的接口,用于获取车辆状态数据、驾驶行为数据和多模态生理信号;
标签定义模块:以多模态生理信号为输入,输出生理压力得分,包括数据缓存与同步子模块、特征提取与标准化子模块、结构化提示词构建子模块和LLM零样本推理与解析子模块;
模型训练模块:其内置长短期记忆网络/门控循环单元/Transformer网络结构及相应的训练流程,用于训练生理奖励代理模型,该模块以、和为输入,输出训练完成的生理奖励代理模型;
奖励计算模块:其加载训练完成的生理奖励代理模型,用于执行生理压力推断,并内置反向映射函数和多目标加权奖励函数;输出为生理压力得分、生理奖励计算和任务奖励;
奖励混合模块:其内置加权求和算法,用于混合和得到最终奖励;
数据集构建模块:用于将当前车辆状态数据,当前驾驶行为数据和下一时刻车辆状态数据以及最终奖励打包并存储为标准数据集文件;
策略训练模块:内置离线强化学习算法,用于加载数据集并训练最终的自动驾驶策略。