1.一种面向在线论坛的低资源话题关键主题抽取方法,其特征在于:所述低资源话题关键主题抽取方法具体包括以下步骤:步骤1、获取在线论坛的低资源文档,通过大型语言模型对获取的低资源文档进行语义保持的数据增强,生成增强文档集合;
步骤2、利用预训练语言模型提取增强文档集合中的文档级别表示;
步骤3、构建可学习的主题嵌入矩阵,通过文档-主题相似度计算文档主题分布;
步骤4、设计语义感知的对比学习框架,在所述对比学习框架同一个批次增强文档中实施动态负样本策略,计算对比学习损失,优化主题嵌入矩阵,用先验对齐损失确保主题一致性,获得主题词;
步骤5、使用大语言模型对步骤4获得的主题词进行拓展、归纳主题见解,帮助更好地了解低资源语料。
2.根据权利要求1所述的一种面向在线论坛的低资源话题关键主题抽取方法,其特征在于:所述步骤1中获取在线论坛的低资源文档,通过大型语言模型对获取的低资源文档进行语义保持的数据增强,生成增强文档集合,具体包括如下步骤:步骤1.1、构建基于大语言模型的文档增强提示模板,生成大语言模型结果,其中所述文档增强提示模板包含语义保持约束条件:a)最小语义变异原则:要求生成的增强文档集合中的每一个文本与低资源文档语义相似;
b)语句流畅度优化:消除拼写错误与语法不规范表达;
步骤1.2、迭代生成:使用预训练语言模型,计算低资源文档与和该低资源文档对应的大语言模型生成结果的嵌入相似度;
步骤1.3、当第个低资源文档对应的生成结果的嵌入相似度低于阈值时,触发筛选机制即重复执行步骤1.1-步骤1.2,重新生成第个低资源文档对应的生成结果,其中为低资源语料集合,保留每次迭代中最高生成结果的嵌入相似度,低资源语料集合经过两次数据增强后获得第一次增强文档集合和第二次增强文档集合,其中为低资源语料集合中的文档数目。
3.根据权利要求所述的一种面向在线论坛的低资源话题关键主题抽取方法,其特征在于:所述步骤2提取增强语料中文档的文档级别表示,具体包括如下步骤:步骤2.1、采用预训练语言模型,对每个增强文档进行编码得到该增强文档对应的词嵌入集合即该增强文档包含的词的集合:;
其中,,是词嵌入标识,为增强文档中第个单词,为Transformer编码器,,为增强文档中的单词数,是维度,为隐变量维度大小,为第个单词的文档级别表示;
步骤2.2、生成增强文档对应的文档级嵌入表示:
。
4.根据权利要求3所述的一种面向在线论坛的低资源话题关键主题抽取方法,其特征在于:所述步骤3构建可学习的主题嵌入矩阵,通过文档-主题相似度计算文档主题分布,具体包括如下步骤:步骤3.1、构建可学习的主题嵌入矩阵,其中为主题的数量;
步骤3.2、主题分布由文档级嵌入表示和主题嵌入矩阵点乘计算得出,每个增强文档对应的主题分布的计算方式为:;
其中,为增强文档对应的文档级表示,为指计算主题分布,为实例归一化操作。
5.根据权利要求4所述的一种面向在线论坛的低资源话题关键主题抽取方法,其特征在于:所述步骤4中,设计语义感知的对比学习框架,在所述对比学习框架同一个批次增强文档中筛选动态负样本,计算对比学习损失,优化主题嵌入矩阵,用先验对齐损失确保主题一致性,获得主题词,具体包括如下步骤:步骤4.1、使用增强文档的主题分布作为依据,计算第个增强文档对应的文档级嵌入表示嵌入和第个增强文档对应的文档级嵌入表示嵌入之间的相对语义相关性得分:;
其中,表示计算两个向量的余弦相似度;
步骤4.2、通过如下公式筛选对比学习框架同一个批次增强文档中动态负样本:;
其中,为阈值的超参数;
步骤4.3、对于低资源文档,都有低资源文档对应的第一次增强文档和第二次增强文档,对比学习框架训练时,从低资源语料集合中随机采样,为批次大小,取随机采样的第一批次增强文档和第二批次增强文档,分别计算第一批次增强文档主题分布和第二批次增强文档主题分布,并构造正样本对,同一批次内的负样本对通过进行筛选,计算第一批次正样本对和负样本对的对比学习损失 、第二批次正样本对和负样本对的对比学习损失:;
;
其中,是超参数,表示文档级嵌入表示的温度参数,同一批次总的对比学习损失为:;
步骤4.3、随机采样两个批次大小即先验主题分布,并计算先验对齐损失:;
其中,表示从两批次增强文档中推断出来的主题分布,为矩阶数,为当前计算的主题数,为第个主题分布,为第个先验主题分布,表示推断出的主题分布域的第d个主题的均值,表示先验分布域第d个主题的均值,表示的第个主题,表示的第个主题;
步骤4.4、总损失函数:
;
其中,为超参数。
6.根据权利要求5所述的一种面向在线论坛的低资源话题关键主题抽取方法,其特征在于:所述步骤4设计语义感知的对比学习框架训练流程包括:步骤T1、初始化主题嵌入矩阵与预训练语言模型参数,配置包含隐变量维度大小在内的非零超参数,将低资源文档输入大语言模型生成增强文档集合;
步骤T2、对增强文档集合进行批量随机抽取并输入对比学习框架,在狄利克雷参数空间实施先验抽样,获取增强文档集合的文档主题分布;
步骤T3、综合评估同一批次总的对比学习损失与先验对齐损失,循环执行主题嵌入矩阵参数更新操作,当语义感知的对比学习框架收敛时终止训练。
7.根据权利要求6所述的一种面向在线论坛的低资源话题关键主题抽取方法,其特征在于:所述步骤5的大语言模型拓展和归纳主题见解方法具体为:在提示中给出低资源文档的名称和其所对应的个主题所各对应的10个主题词,要求其对于每个主题进行归纳,以生成人类可读的主题见解。