1.一种过程奖励模型训练方法,其特征在于,包括:
获取数据集,数据集中每个样本包括问题文本及其对应真实答案;利用生成器生成每个样本中问题文本的多个生成解,解包括:预测答案及多个推理步骤;
利用补全器生成每个样本中问题文本的多个补全解,基于每个样本中真实答案及多个补全解中的预测答案,计算每个样本中问题文本的置信度分数;
对于每个样本中问题文本的各个生成解,通过补全器生成当前生成解中每个推理步骤的正确性分数,将当前生成解、生成解中各个推理步骤的正确性分数、问题文本及其置信度分数,作为标注数据集的一个标注样本;
基于标注样本中问题文本的各个推理步骤的正确性分数、置信度分数、容忍距离超参数,获取标注样本中问题文本的各个推理步骤的目标正确性分数;
将标注数据集中标注样本中问题文本、生成解输入过程奖励模型,输出标注样本中问题文本的各个推理步骤的正确性预测分数;
基于标注样本中问题文本的各个推理步骤的正确性预测分数与目标正确性分数之间的二元交叉熵损失,对过程奖励模型进行训练,将训练好的过程奖励模型作为目标过程奖励模型。
2.根据权利要求1所述的一种过程奖励模型训练方法,其特征在于,标注数据集包括正标注样本集合和负标注样本集合;
对于每个样本中问题文本的各个生成解,判断其预测答案与问题文本对应真实答案是否一致,若一致,则将当前生成解、生成解中各个推理步骤的正确性分数、问题文本及其置信度分数,作为正标注样本;
若不一致,则判断当前生成解对应样本中问题文本的置信度分数是否大于设定阈值,若大于,将当前生成解、生成解中各个推理步骤的正确性分数、问题文本及其置信度分数,作为负标注样本。
3.根据权利要求2所述的一种过程奖励模型训练方法,其特征在于,将正标注样本的解中各个推理步骤的正确性分数均设置为1;
负标注样本的解中各个推理步骤的正确性分数通过补全器获取。
4.根据权利要求1所述的一种过程奖励模型训练方法,其特征在于,将生成器与补全器设置为同一模型;
基于每个样本中真实答案及问题文本的多个生成解中的预测答案,计算每个样本中问题文本在生成器中的置信度分数,作为每个样本中问题文本的置信度分数。
5.根据权利要求4所述的一种过程奖励模型训练方法,其特征在于,所述基于每个样本中真实答案及问题文本的多个生成解中的预测答案,计算每个样本中问题文本在生成器中的置信度分数,公式为:,
其中,为第个样本中问题文本在生成器中置信度分数,为第个样本中问题文本,为在生成器中置信度分数,为样本中问题文本生成解的数量,为生成解索引,为第个样本中问题文本的第个生成解中的预测答案,为第个样本的真实答案,为评估函数,当一致时,,当不一致时,,为由生成器计算的概率分布,为生成器,表示第个样本中问题文本的多个生成解,表示是生成器在给定问题时的概率分布中采样得到的,为样本索引。
6.根据权利要求1所述的一种过程奖励模型训练方法,其特征在于,所述基于标注样本中问题文本的各个推理步骤的正确性分数、置信度分数、容忍距离超参数,获取标注样本中问题文本的各个推理步骤的目标正确性分数,公式为:;
其中,为标注样本中问题文本的第个推理步骤的目标正确性分数,为取最小值,为标注样本中问题文本,为置信度分数,为标注样本中问题文本的置信度分数,为标注样本中问题文本的第个推理步骤的正确性分数,为指示函数,当时,,当时,,为容忍距离超参数,为推理步骤索引,第一个错误推理步骤索引,即满足的最小 值,为由补全器计算的概率分布,为标注样本中问题文本的第个推理步骤的真实标签,表示标注样本中问题文本的第个推理步骤的真实标签为正确的,表示在给定问题文本和的条件下,补全器生成的第个推理步骤的正确性分数,表示标注样本中问题文本的第一个推理步骤至第个推理步骤的推理步骤序列。
7.根据权利要求1所述的一种过程奖励模型训练方法,其特征在于,标注样本中问题文本的各个推理步骤的正确性预测分数与目标正确性分数之间的二元交叉熵损失为:,
其中,为二元交叉熵损失,为过程奖励模型的可学习参数,为标注样本中问题文本的第个推理步骤的目标正确性分数,为数学期望,表示服从标注数据集的分布,为标注数据集,表示标注样本中问题文本的第一个推理步骤至第个推理步骤的推理步骤序列,为标注样本中问题文本的第个推理步骤的真实标签,为过程奖励模型在给定 和时,第个推理步骤的正确性预测分数,为标注样本中问题文本,为推理步骤索引。
8.根据权利要求1所述的一种过程奖励模型训练方法,其特征在于,所述通过补全器生成当前生成解中每个推理步骤的正确性分数,包括:分别将当前生成解中每个推理步骤、当前生成解对应问题文本,代入正确性分数提示模板后,输入至补全器,生成当前生成解中每个推理步骤的正确性分数。
9.根据权利要求1所述的一种过程奖励模型训练方法,其特征在于,所述利用生成器生成每个样本中问题文本的多个生成解,包括:将每个样本中问题文本代入生成解提示模板后,输入至生成器,通过多次采样,生成每个样本中问题文本的多个生成解。
10.一种过程奖励模型训练系统,其特征在于,包括:
数据获取模块,用于获取数据集,数据集中每个样本包括问题文本及其对应真实答案;利用生成器生成每个样本中问题文本的多个生成解,解包括:预测答案及多个推理步骤;
置信度计算模块,用于利用补全器生成每个样本中问题文本的多个补全解,基于每个样本中真实答案及多个补全解中的预测答案,计算每个样本中问题文本的置信度分数;
样本构建模块,用于对于每个样本中问题文本的各个生成解,通过补全器生成当前生成解中每个推理步骤的正确性分数,将当前生成解、生成解中各个推理步骤的正确性分数、问题文本及其置信度分数,作为标注数据集的一个标注样本;
校正模块,用于基于标注样本中问题文本的各个推理步骤的正确性分数、置信度分数、容忍距离超参数,获取标注样本中问题文本的各个推理步骤的目标正确性分数;
预测模块,用于将标注数据集中标注样本中问题文本、生成解输入过程奖励模型,输出标注样本中问题文本的各个推理步骤的正确性预测分数;
训练模块,用于基于标注样本中问题文本的各个推理步骤的正确性预测分数与目标正确性分数之间的二元交叉熵损失,对过程奖励模型进行训练,将训练好的过程奖励模型作为目标过程奖励模型。