1.一种融合场景交互特征与分层时态建模的行人意图推理方法,其特征在于,包括:获取人车距离数据、自车速度数据以及场景图片数据;
采用DeepLabV3对所述场景图片数据进行语义分割,识别并标识每个像素的对象属性,得到分割图像、边界框坐标、行人姿态关键点;所述对象属性包括:行人、车辆、建筑物、以及环境对象;所述边界框坐标为行人在所述分割图像中的位置;
通过VGG网络模型和平均池化操作提取所述分割图像中的场景时序特征;
基于所述边界框坐标、所述行人姿态关键点、所述人车距离数据、以及所述自车速度数据,通过多层堆叠的GRU单元并在每一层GRU单元中引入注意力机制提取时空关联的行人运动意图特征;
采用分层时态策略对所述场景时序特征、所述时空关联的行人运动意图特征进行特征融合,并预测行人过街意图结果;
所述采用分层时态策略对所述场景时序特征、所述时空关联的行人运动意图特征进行特征融合,并预测行人过街意图结果,包括:将场景时序特征输入分层时态编码器第一分支,提取全局场景动态信息特征;
将时空关联的行人运动意图特征输入分层时态编码器第二分支,提取关键行人运动意图特征;所述分层时态编码器第二分支由多个堆叠的GRU和注意力机制组成,用于提取时空关联的行人运动意图特征的关键行人运动意图特征;
在统一特征空间内对所述全局场景动态信息特征与所述提取关键行人运动意图特征进行跨模态对齐与加权融合,得到综合时序特征;
将所述综合时序特征输入多层全连接神经网络,逐层进行非线性映射与降维,并预测行人过街意图结果。
2.根据权利要求1所述的方法,其特征在于,所述提取所述分割图像中的场景时序特征,包括:通过掩膜操作去除分割图像中的行人,得到场景图像;
基于VGG网络提取所述场景图像中的高层次场景时序特征;
通过平均池化算法,将所述高层次场景时序特征转换为紧凑高层次场景时序特征,并映射到统一特征空间,得到场景时序特征。
3.根据权利要求2所述的方法,其特征在于,所述紧凑高层次场景时序特征满足以下公式:其中,AP( )表示平均池化函数,VGG( )表示VGG网络模型,Mask( )表示掩膜操作,为t时刻的分割图像。
4.根据权利要求1所述的方法,其特征在于,所述基于所述边界框坐标、所述行人姿态关键点、所述人车距离数据、以及所述自车速度数据,提取时空关联的行人运动意图特征,包括:基于边界框坐标,提取行人位置时序特征;
基于多个行人姿态关键点,提取行人关键姿态时序特征;
对人车距离数据、以及自车速度数据分别进行特征编码,得到人车距离时序特征以及自车速度时序特征;
将所述行人位置时序特征、所述行人关键姿态时序特征、所述人车距离时序特征以及自车速度时序特征对齐融合,得到时空关联的行人运动意图特征。
5.根据权利要求4所述的方法,其特征在于,所述行人位置时序特征满足以下公式:其中,,用于表示边界框左上角和右下角的坐标,l表示左上角坐标,r表示右下角坐标,i为大于等于零的自然数,用于表示行人的索引;t-m,t-m+1,...,t表示观察序列从第t-m帧依次到第t帧。
6.根据权利要求1所述的方法,其特征在于,所述关键行人运动意图特征满足以下公式:其中,是权重矩阵,是观察长度,是编码器的最后一个隐藏状态,是所有注意力加权隐藏状态的和,是编码器的前一个隐藏状态,是注意力权重向量。
7.根据权利要求1所述的方法,其特征在于,在预测行人过街意图结果之后,所述方法还包括,采用二元交叉熵损失函数优化二分类任务结果。
8.根据权利要求7所述的方法,其特征在于,所述损失函数满足以下公式:其中,为预测标签,为对应真实标签,n为类别总数。
9.根据权利要求1所述的方法,其特征在于,所述场景时序特征满足以下公式:其中,为权重向量,为偏执项,为紧凑高层次场景时序特征。