1.一种交通法规知识图谱增强的驾驶决策推理问答方法,其特征在于,包括:
S100,利用电子设备接收用户输入的待回答的交通示意图问题;
S200,将所述待回答的交通示意图问题输入至训练好的交通示意图驾驶决策推理问答模型中,以输出推理回答;
其中,所述训练好的交通示意图驾驶决策推理问答模型的训练过程包括:
获取包含多张交通示意图、多个问题文本以及一个交通法规知识图谱的样本集;利用所述样本集构建多模态特征数据集;利用所述多模态特征数据集对预先构建的交通示意图驾驶决策推理问答模型进行训练,得到训练好的交通示意图驾驶决策推理问答模型;
S300,利用所述电子设备显示所述推理回答,以使用户参考所述推理回答完成驾驶决策。
2.根据权利要求1所述的交通法规知识图谱增强的驾驶决策推理问答方法,其特征在于,所述利用所述样本集构建多模态特征数据库包括:a1,针对所述样本集中的每张交通示意图,将该交通示意图划分为大小相同的图块;
b1,采用预训练ViT网络获取每个图块的图块特征以及采用预训练Faster-rcnn模型获取每张交通示意图的视觉区域特征;
c1,将每个图块依次送入VisualGLM-6B模型中,生成每个图块对应的图块描述;针对图块描述,采用预训练语言模型RoBERTa获取每个图块描述特征;
d1,针对所述样本集中每个问题文本,采用预训练语言模型RoBERTa获取该问题文本的文本词元特征;
e1,针对所述样本集中交通法规知识图谱,采用知识图谱嵌入模型得到交通法规知识图谱中每个三元组的嵌入表示,并将所述嵌入表示送入编码层生成交通法规知识图谱的三元组特征;
f1,利用所述视觉区域特征、图块特征、图块描述特征、文本词元特征和三元组特征构建所述样本集的多模态特征数据集。
3.根据权利要求2所述的交通法规知识图谱增强的驾驶决策推理问答方法,其特征在于,所述利用所述多模态特征数据集对预先构建的交通示意图驾驶决策推理问答模型进行训练,得到训练好的交通示意图驾驶决策推理问答模型包括:a2,定义交通法规知识图谱修正的交通示意图图块描述表征模块、语义自增强的交通示意图表征模块、选择性多模态问题融合模块、答案选择模块和交通示意图驾驶决策推理问答模型中的优化损失函数;
b2,在当前迭代次,在所述多模态特征数据集中选择一张交通示意图的图块特征和交通法规知识图谱的三元组特征作为输入,并输入至所述交通法规知识图谱修正的交通示意图图块描述表征模块中,得到交通法规知识图谱修正的交通示意图图块描述特征;
c2,将b2中所述交通法规知识图谱修正的交通示意图图块描述特征和交通示意图的视觉区域特征输入至所述语义自增强的交通示意图表征模块中,得到语义自增强的交通示意图视觉区域特征;
d2,针对b2选择的交通示意图,将该交通示意图对应的问题文本的文本词元特征和所述语义自增强的交通示意图视觉区域特征输入至选择性多模态问题融合模块,得到融合后的多模态交通示意图问题特征;
e2,将所述融合后的多模态交通示意图问题特征输入至答案选择模块,以使所述答案选择模块对融合后的多模态交通示意图问题特征作线性映射操作和softmax激活操作得到候选答案的概率分布;
f2,根据d2中间过程生成的基于图块描述的文本词元特征、基于图块的文本词元特征、基于图块描述表示的交通示意图视觉区域特征、基于图块表示的交通示意图视觉区域特征、e2中的所述概率分布,利用所述优化损失函数计算出输入的交通示意图驾驶决策推理问答的损失值;
g2,利用所述损失值调整交通示意图驾驶决策推理问答模型的权重参数,并在所述多模态特征数据集中重新选择一张交通示意图的视觉区域特征、图块特征、图块描述特征、一个问题文本的文本词元特征和交通法规知识图谱的三元组特征作为输入;
h2,重复b2至g2直至达到迭代截至条件,得到训练好的交通示意图驾驶决策推理问答模型。
4.根据权利要求3所述的交通法规知识图谱增强的驾驶决策推理问答方法,其特征在于,b2包括:在当前迭代次,在所述多模态特征数据集中选择一张交通示意图的图块特征和交通法规知识图谱的三元组特征Ftrip作为输入,并输入至所述交通法规知识图谱修正的交通示意图图块描述表征模块中,以使所述交通法规知识图谱修正的交通示意图图块描述表征模块以图块描述特征Fcap作为查询,以三元组特征Ftrip作为键和值,计算图块描述和三元组之间的注意力权重AttCT,得到与该图块描述最相关的三元组,通过加权求和方式,得到交通法规知识图谱修正的交通示意图图块描述特征
5.根据权利要求3所述的交通法规知识图谱增强的驾驶决策推理问答方法,其特征在于,c2包括:c21,将b2中所述交通法规知识图谱修正的交通示意图图块描述特征和交通示意图的视觉区域特征Fregion输入至所述语义自增强的交通示意图表征模块中,以使所述语义自增强的交通示意图表征模块以所述交通示意图的视觉区域特征Fregion作为查询,以交通法规知识图谱修正的交通示意图图块描述特征作为键和值,计算视觉区域和图块描述之间的注意力权重AttRC,得到与该视觉区域最相关的图块描述,通过加权求和方式得到图块描述表示的交通示意图视觉区域特征FregionC;
c22,以所述交通示意图的视觉区域特征Fregion作为查询,以交通示意图的图块特征Fpatch作为键和值,计算视觉区域和图块之间的注意力权重AttRP,得到与该视觉区域最相关的图块,通过加权求和方式得到图块表示的交通示意图视觉区域特征FregionP;
c23,将所述图块描述表示的交通示意图视觉区域特征FregionC和图块表示的交通示意图视觉区域特征FregionP送入门控网络,通过门控加权求和方式得到所述语义自增强的交通示意图视觉区域特征
6.根据权利要求3所述的交通法规知识图谱增强的驾驶决策推理问答方法,其特征在于,d2包括:d21,针对b2选择的交通示意图,将该交通示意图对应的问题文本的文本词元特征和所述语义自增强的交通示意图视觉区域特征输入至选择性多模态问题融合模块中,以使所述选择性多模态问题融合模块,计算问题文本的文本词元特征FT和语义自增强的交通示意图视觉区域特征之间的欧氏距离,将计算出的欧氏距离归一化至[0,1]区间内,并与1做差值,得到问题文本的文本词元特征FT和语义自增强的交通示意图视觉区域特征之间的相关度;
d22,将所述问题文本的文本词元特征FT和语义自增强的交通示意图视觉区域特征之间的相似性权重按列进行平均池化,得到所述问题文本对语义自增强的交通示意图视觉区域特征的关注度;
d23,若所述问题文本对第i个语义自增强的交通示意图视觉区域特征的关注度的值大于预先设定的阈值q,则将所述问题文本对第i个语义自增强的交通示意图视觉区域特征的关注度的值保留不变;
d24,若所述问题文本对第i个语义自增强的交通示意图视觉区域特征的关注度的值小于等于预先设定的阈值q,则将所述问题文本对第i个语义自增强的交通示意图视觉区域特征的关注度的值设置为0;
d25,以所述问题文本对语义自增强的交通示意图视觉区域特征的关注度的0值个数为依据,若0值个数小于交通示意图视觉区域个数的一半,表明所述问题文本和交通示意图视觉区域相互包含彼此丰富的信息,则对所述问题文本的文本词元特征FT和语义自增强的交通示意图视觉区域特征进行普通融合得到融合后的多模态交通示意图问题特征;
d26,以所述问题文本对语义自增强的交通示意图视觉区域特征的关注度的0值个数为依据,若0值个数大于等于交通示意图视觉区域个数的一半,表明所述问题文本和交通示意图视觉区域难以包含彼此的信息,则对所述问题文本的文本词元特征FT和语义自增强的交通示意图视觉区域特征进行多模态补充融合得到融合后的多模态交通示意图问题特征。
7.根据权利要求6所述的交通法规知识图谱增强的驾驶决策推理问答方法,其特征在于,d25包括:
d251,以所述问题文本对语义自增强的交通示意图视觉区域特征的关注度的0值个数为依据,若0值个数小于交通示意图视觉区域个数的一半,表明所述问题文本和交通示意图视觉区域相互包含彼此丰富的信息,则对所述问题文本的文本词元特征FT采用自注意力机制进行更新,随后通过前馈神经网络进行映射,得到更新后的问题文本的文本词元特征d252,以所述语义自增强的交通示意图视觉区域特征作为查询,以所述更新后的问题文本的文本词元特征作为键和值,进行多头自注意力操作,随后通过前馈神经网络进行映射,得到更新后的交通示意图视觉区域特征d253,以所述更新后的问题文本的文本词元特征和所述更新后的交通示意图视觉区域特征为输入,采用矩阵加和操作得到所述融合后的多模态交通示意图问题特征Ffuse;
d26包括:
d261,以所述问题文本对语义自增强的交通示意图视觉区域特征的关注度的0值个数为依据,若0值个数大于等于交通示意图视觉区域个数的一半,表明所述问题文本和交通示意图视觉区域难以包含彼此的信息,则以所述问题文本的文本词元特征FT为查询,以所述交通法规知识图谱修正的交通示意图图块描述特征为键和值,采用多头注意力机制得到基于图块描述的文本词元特征FTC;
d262,以所述问题文本的文本词元特征FT为查询,以所述交通示意图的图块特征Fpatch为键和值,采用多头注意力机制得到基于图块的文本词元特征FTP;
d263,对所述问题文本的文本词元特征FT采用自注意力机制进行更新记作FT1;
d264,将基于图块描述的文本词元特征FTC和基于图块的文本词元特征FTP送入门控网络,通过门控加权求和方式得到文本词元特征FT2;
d265,将文本词元特征FT1和FT2进行加和操作,随后通过前馈神经网络进行映射,得到更新后的问题文本的文本词元特征d266,以所述语义自增强的交通示意图视觉区域特征作为查询,以所述更新后的问题文本的文本词元特征作为键和值,进行多头自注意力操作,得到更新后的交通示意图视觉区域特征记作d267,将图块描述表示的交通示意图视觉区域特征FregionC和图块表示的交通示意图视觉区域特征FregionO送入门控网络,进行门控加权求和,再与所述更新后的交通示意图视觉区域特征记作进行加和得到d268,以所述交通示意图视觉区域特征作为查询,以所述交通示意图的图块特征Fpatch和所述交通法规知识图谱修正的交通示意图图块描述特征的加和作为键和值,进行多头自注意力操作,得到更新后的交通示意图视觉区域特征记作随后通过前馈神经网络进行映射得到更新后的交通示意图视觉区域特征d269,以所述更新后的问题文本的文本词元特征和所述更新后的交通示意图视觉区域特征为输入,采用矩阵加和操作得到所述融合后的多模态交通示意图问题特征Ffuse。
8.根据权利要求3所述的交通法规知识图谱增强的驾驶决策推理问答方法,其特征在于,e1包括:e11,将所述候选答案的概率分布输入交叉熵损失函数中,计算出输入的交通示意图答案选择的损失值,表示为:其中,N表示输入的交通示意图对应的问题文本的数量,C表示候选答案个数,yij表示输入的问题文本的真实答案分布,表示预测的答案分布;
e12,将所述基于图块描述的文本词元特征FTC和所述基于图块的文本词元特征FTP输入均方误差损失函数中,计算出对所述问题文本的文本词元特征的多模态一致性约束损失值,表示为:其中,N表示输入的交通示意图对应的问题文本的数量,K表示所述问题文本的文本词元个数,D表示所述问题文本的文本词元特征的维度;
e13,将所述图块描述表示的交通示意图视觉区域特征FregionC和图块表示的交通示意图视觉区域特征FregionP输入均方误差损失函数中,计算出对所述交通示意图的视觉区域特征的多模态一致性约束损失值,表示为:其中,N表示输入的交通示意图对应的问题文本的数量,M表示所述交通示意图视觉区域的个数,D表示所述交通示意图视觉区域特征的维度;
e14,将所述交通示意图答案选择的损失值、所述问题文本的文本词元特征的多模态一致性约束损失值、所述交通示意图的视觉区域特征的多模态一致性约束损失值进行加权求和,作为交通示意图问答推理模型的优化损失值,表示为:其中,α和β分别表示损失值和损失值的平衡权重。
9.根据权利要求1所述的交通法规知识图谱增强的驾驶决策推理问答方法,其特征在于,在S200之前,所述交通法规知识图谱增强的驾驶决策推理问答方法还包括:
00,获取测试交通示意图和测试问题文本,并用训练好的交通示意图驾驶决策推理问答模型对所述测试交通示意图和测试问题文本进行回答,得到测试交通示意图和测试问题文本对应的答案;
01,利用测试交通示意图和测试问题文本对应的答案评估所述交通示意图驾驶决策推理问答模型的性能;
02,将性能符合条件的交通示意图驾驶决策推理问答模型作为筛选后的交通示意图驾驶决策推理问答模型;
03,将所述筛选后的交通示意图驾驶决策推理问答模型部署在所述电子设备上。
10.一种交通法规知识图谱增强的驾驶决策推理问答装置,其特征在于,包括:设置在电子设备上的接收模块、问答模块和显示模块;
所述接收模块,被配置为接收用户输入的待回答的交通示意图问题;
所述问答模块,被配置为将所述待回答的交通示意图问题输入至训练好的交通示意图驾驶决策推理问答模型中,以输出推理回答;
其中,所述训练好的交通示意图驾驶决策推理问答模型的训练过程包括:
获取包含多张交通示意图、多个问题文本以及一个交通法规知识图谱的样本集;利用所述样本集构建多模态特征数据集;利用所述多模态特征数据集对预先构建的交通示意图驾驶决策推理问答模型进行训练,得到训练好的交通示意图驾驶决策推理问答模型;
所述显示模块,被配置为利用所述电子设备显示所述推理回答,以使用户参考所述推理回答完成驾驶决策。