1.一种基于大语言模型的智能汽车关键测试场景提取方法,其特征在于:包括以下步骤:步骤一、实车数据采集:
利用数据采集平台采集实车道路图像数据,数据格式储存为{xi,ri,yi},其中xi为模型输入,形式为实车采集的图像数据;ri为场景描述,形式为语言文字,通过大语言模型获得;yi为模型输出测试场景的关键程度,形式为数值型数据;
步骤二、基于大语言模型获取场景描述:
将实车采集的图像数据输入给大语言模型,利用大语言模型获得实车采集的图像数据所对应的文字描述,将图像和对应的描述内容存入本地知识库中;
步骤三、基于小模型提取关键测试场景:
步骤3.1、人工标注知识库构建:通过驾驶员对测试场景进行主观评价,构建人工标注知识库;
步骤3.2、测试场景知识库构建:选择典型文本构建测试场景知识库;
步骤3.3、小模型设计:小模型的预训练模型输入为实车采集的图像数据xi,模型输出为场景对应的关键程度yi和场景描述ri;利用人工标注获得的知识库集合记作,利用大语言模型获得的知识库集合记作,和共同构成模型训练的标签集合;训练小模型f的损失函数为:;
式中代表输入xi对应的标签,;N代表用于训练的场景个数;将ri作为f的学习目标,令模型输出场景的关键程度yi,还输出导致发生关键测试场景的本质诱因ri,其损失函数为:;
式中,代表f输出的本质诱因和诱因标签之间的距离;
训练小模型对应的损失函数整体表达式为:
;
步骤四、本地部署:
将模型进行本地部署,在生成回答之前通过信息检索从外部知识库中查找与问题相关的知识,所述外部知识库由大语言模型输出的场景描述、人工标注知识库和测试场景知识库共同构成。
2.根据权利要求1所述的一种基于大语言模型的智能汽车关键测试场景提取方法,其特征在于:步骤二基于大语言模型获取场景描述的步骤包括:任务引入:向大语言模型输入任务指令,让大语言模型明确本次对话的目的,即判断实车采集的图像数据的场景是否属于关键测试场景;
分析场景:令大语言模型无任何限制地自由分析描述输入的场景图像;
增加指引:通过主观的描述,修正大语言模型的输出,让其明确测试场景判断为关键测试场景的原因;
阐明理由:借助大语言模型的“涌现能力”充分说明输入场景判断为关键测试场景的理由。
3.根据权利要求1或2所述的一种基于大语言模型的智能汽车关键测试场景提取方法,其特征在于:所述的大语言模型为ChatGPT Plus模型。
4.根据权利要求1所述的一种基于大语言模型的智能汽车关键测试场景提取方法,其特征在于:步骤3.1、人工标注知识库构建方法包括:将实车采集的视频数据布置在驾驶模拟器上;进行主观关键性量化的驾驶员在观测驾驶模拟器上的视频后,对测试场景进行主观评价,量化测试场景的关键程度;
选取数位不同的驾驶员对每个测试场景进行量化,利用加权方式最终得到第n个测试场景的人工标注结果,具体的加权过程如下:;
式中,j代表场景标签数值;mj为驾驶员选择j标签对应的驾驶员个数,同时记录驾驶员对场景的语言文字描述;M为驾驶员的数量。
5.根据权利要求1所述的一种基于大语言模型的智能汽车关键测试场景提取方法,其特征在于:步骤3.2、测试场景知识库构建方法包括:选择相关的典型文本构建测试场景知识库,包括关键测试场景定义、关键测试场景提取方法、场景关键程度量化方法三个方面;构成测试场景知识库的资料包括测试标准、学术论文、智能汽车测试法规。
6.根据权利要求1所述的一种基于大语言模型的智能汽车关键测试场景提取方法,其特征在于:步骤3.3所述的小模型的预训练模型选择llava:34b模型。
7.根据权利要求1所述的一种基于大语言模型的智能汽车关键测试场景提取方法,其特征在于:步骤四本地部署采用Ollama-RAGFlow架构实现模型本地部署。