1.一种基于任务关联度的多任务学习辅助任务选择方法,其特征在于,包括以下步骤:步骤S1、数据集准备:在多任务学习中,首先定义主任务和若干辅助任务,然后构建一个包含主任务和多个辅助任务的多任务学习数据集,数据集包含各任务的特征变量和目标值;
步骤S2、TCC计算:通过衡量每个任务损失变化与主任务梯度方向的相似度来动态评估任务间的相关性;
步骤S3、辅助任务选择:根据计算得到的TCC值,分析辅助任务与主任务之间的协同作用或冲突,并选择协同作用最强的辅助任务;
步骤S4、模型训练与优化:使用选定的辅助任务和主任务构建多任务学习模型;在训练过程中,采用标准的训练步骤,使用所有任务的联合梯度对模型进行优化;定期计算并更新TCC值;
所述TCC值的取值范围为-1~1,接近1的TCC值表示协同作用强,接近-1的值表示存在冲突;
所述TCC计算步骤的具体过程如下:
对于每个训练批次在时间步t上,设表示在针对主任务应用梯度步骤后更新的共享参数;在假设随机梯度下降的条件下,表示为:式1:;
其中,表示更新前的共享参数;表示学习率;表示主任务在批量下对参数的梯度;
使用更新后的共享参数计算主任务和每个辅助任务的损失变化,同时保持每个任务的特定参数和输入批次不变;
辅助任务i的损失变化定义为:
式2:;
其中,表示辅助任务i的损失函数;
主任务的损失变化定义为:
式3:;
其中,表示主任务特定部分参数;
在每个批次后,临时更新会被还原,恢复原始参数;然后,标准的训练步骤使用所有任务的联合梯度继续进行;为了评估整个训练周期内主任务与每个辅助任务之间的协同作用或冲突,收集所有批次的损失变化序列,并计算TCC,量化辅助任务对主任务优化方向的协同程度或冲突:式4:;
其中,表示主任务和辅助任务的TCC分数;表示主任务损失变化序列;表示辅助任务损失变化序列;表示主任务损失变化序列和辅助任务损失变化序列之间的协方差;和分别表示主任务和辅助任务损失变化的标准差;
在每个训练周期结束时计算TCC,并将结果平均,以获得整个训练过程中的综合TCC值,综合TCC值表示为:式5:;
其中,n表示第n个训练周期;N表示总训练周期数。