1.一种低资源场景下Text2SQL任务的监督微调方法,其特征在于,该方法分解为模式连接任务和SQL生成任务两个部分;其中所述模式连接任务部分包括:S100、将整个电信数据库分解为多个切片,每个切片包含可调节数量的表信息;并根据GPU内存限制动态调整每个切片覆盖的表数量;
S200、使用监督微调方法训练一个模式连接模型,并进行模型推理,预测与用户查询问题相关的表;
所述SQL生成任务部分,包括:
S300、基于模式连接模型预测出的表和对应问题,训练一个SQL生成模型,以该SQL生成模型生成与用户查询问题相关的SQL查询语句。
2.根据权利要求1所述的低资源场景下Text2SQL任务的监督微调方法,其特征在于,步骤S100具体方法为:S110、将电信数据库中所有表分为两组集合,分别为通过外键互连的表的集合,以及无外键相关性的表的集合;
S120、根据GPU内存,将两组集合分解为多个切片,获得切片集合。
3.根据权利要求2所述的低资源场景下Text2SQL任务的监督微调方法,其特征在于,步骤S110所述将电信数据库中所有表分为两组集合,分别为通过外键互连的表的集合,以及无外键相关性的表的集合,具体方法为:将电信数据库中所有表集合定义为,将其分为和两组,表示为:
;
其中,表示通过外键互连的表的集合,;其中,表示一个相关组,该组中的每个表都受到第个外键或其相关外键施加的约束;定义,其中表示在第个相关组内的第个表的表名及其所有列;,其中表示第个相关组的第个表中的第列,表示与第个相关组中的第个表相关的第个外键,且;
表示无外键相关性的表的集合,;其中,表示无外键相关性的表和它们各自的所有列,定义,其中表示第个表中的第列。
4.根据权利要求3所述的低资源场景下Text2SQL任务的监督微调方法,其特征在于,步骤S120所述根据GPU内存,将两组集合分解为多个切片,获得切片集合,具体方法为:对和进行更详细的分解,定义监督微调中表信息的最小切片单位,切片集合为,定义为当模型在的GPU内存容量下用一个批次大小进行微调时,单个数据实例的最大token容量,定义为对模型的特殊字符和监督微调模板进行编码的token计数;在对切片进行编码之后,总的token计数满足:;
初始化两个空集合和;
首先处理通过外键互连的表的集合,对于其中的每个相关组,对其每个表进行判断,如果与合并后的长度小于,将该表添加到中;如果长度大于给定的,将添加到中,并清空,再把表添加到清空后的中;
然后处理无外键相关性的表集合,对于其中的每个表,判断与合并后的长度是否小于,如果是则将表添加到中,如果不是,则将添加到中,并清空,再把表添加到清空后的中;
获得最终的切片集合。
5.根据权利要求1所述的低资源场景下Text2SQL任务的监督微调方法,其特征在于,步骤S200中模式连接模型经多次迭代从各个切片中提取目标,其目标表示为:;
;
;
其中,表示数据库,表示模式连接任务的大语言模型,表示数据集中包含的问题总数,表示切片的总数,表示SQL查询的需求,表示总切片集合中的第个切片,且,表示训练中涉及的所有参数,是监督微调过程中使用的损失函数;表示在切片中找到与问题相关的目标表的名称,如果在该切片内没有找到与问题有关的表,则为其分配特殊token,定义为#None#;当与问题相关的所有切片的预测完成,推导出一个确定的表预测结果。
6.根据权利要求5所述的低资源场景下Text2SQL任务的监督微调方法,其特征在于,使用监督微调方法训练一个模式连接模型中,引入思维链的推理方法;随着微调过程中样本数量的增加,模式连接模型记忆推理过程,并在推理过程中纳入先前的推理信息,任务目标转化为:;
;
;
其中,表示第个切片所覆盖的目标表信息,即将第个切片所覆盖的目标表信息整合到第个切片的训练目标中。
7.根据权利要求6所述的低资源场景下Text2SQL任务的监督微调方法,其特征在于,所述使用监督微调方法训练一个模式连接模型,具体方法为:以包含成对的问题和答案的模式连接任务数据集,和切片集合,作为模型输入,设定训练步数;
初始化模式连接模型和优化器,之后进入训练循环;在每次训练中,先初始化损失,接着对中的每一对问题和答案进行处理;对于切片集合中的每个切片,如果答案中的某一个相关表在切片中,则使用模式连接模型进行预测并计算损失,同时平衡样本数量再次预测并计算损失,然后将添加到集合中;若不在中,则仅使用模式连接模型预测并计算损失;
处理完所有切片和答案后,进行损失的反向传播和优化器的步骤和参数更新;循环上述过程,直到训练步数达到。
8.根据权利要求7所述的低资源场景下Text2SQL任务的监督微调方法,其特征在于,步骤S200中进行模型推理,具体方法为:将查询问题,以及目标数据库D下的所有表输入所述模式连接模型;
通过调用函数对所有表进行切片操作得到切片集合;
对切片集合中的每一个切片进行处理,即利用语言模型函数结合查询问题、当前切片和相关表的集合得到一个相关表,再把得到的相关表添加到表集合中;
最终获得相关表的集合。
9.一种非暂态计算机可读存储介质,其特征在于,其上存储有计算机指令,该计算机指令使计算机执行权利要求1-8任意一项所述的低资源场景下Text2SQL任务的监督微调方法。
10.一种电子设备,其特征在于,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信,处理器调用存储器中的逻辑指令,以执行权利要求1-8任意一项所述的低资源场景下Text2SQL任务的监督微调方法。