欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202411414525X
申请人: 南通佑铭科技有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2025-04-01
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于记忆增强的长文本用户意见理解方法,其特征在于,包括:

获取待理解的长文本用户意见,对所述长文本用户意见进行预处理,包括分词、词性标注、命名实体识别和依存句法分析,得到富含语言学特征的文本表示;利用词向量模型,将文本表示映射为低维稠密向量,作为记忆增强型神经网络模型的输入,所述词向量模型采用预训练语言模型,在领域语料上进行增量训练;所述记忆增强型神经网络模型采用多头注意力机制和门控循环单元构建,包括层次化编码器、键值记忆网络、指针生成网络三个模块;所述层次化编码器用于提取文本的字、词、句子和段落级语义特征;所述键值记忆网络采用多层稀疏记忆矩阵,通过局部敏感哈希实现快速寻址,并引入遗忘机制动态更新记忆,用于存储长期上下文信息并对层次化编码器提取的语义特征进行增强;所述指针生成网络用于根据记忆增强的语义特征,采用集束搜索算法解码,结合词表掩码机制和长度惩罚,生成结构化的意见摘要和关键词,同时可以选择性地复制输入文本中的片段;

对记忆增强型神经网络模型输出的意见摘要和关键词进行后处理,得到规范化的结构化意见信息;根据结构化意见信息,利用预先构建的业务领域知识库,对用户意见进行理解和分析,生成意见理解报告,所述业务领域知识库采用本体和规则相结合的方式构建,包含领域概念、实体、关系和约束规则,通过知识推理实现深层次的意见理解;

基于意见理解报告,结合领域对话知识库和用户画像,自动生成应答,应答形式包括文本、语音、图表,其中所述领域对话知识库采用多轮对话数据学习得到,包含意图识别、槽位填充、对话策略学习功能,实现上下文相关、逻辑自洽的多轮应答;通过强化学习算法,利用用户反馈动态调整应答策略,实现人机交互优化。

2.根据权利要求1所述的方法,其特征在于,所述记忆增强型神经网络模型采用多头注意力机制和门控循环单元构建,包括层次化编码器、键值记忆网络、指针生成网络三个模块的步骤包括:对于层次化编码器的每一层,使用门控循环单元对输入进行序列建模,通过引入重置门和更新门动态控制信息的流动和更新,缓解梯度消失问题,得到隐藏状态序列;

使用多头注意力机制计算隐藏状态序列与记忆矩阵的匹配度,通过线性变换得到查询矩阵、键矩阵和值矩阵,将查询矩阵与键矩阵的转置相乘并除以缩放因子得到注意力得分矩阵,对注意力得分矩阵使用归一化指数函数进行归一化得到注意力权重矩阵,使用注意力权重矩阵对值矩阵进行加权求和得到注意力输出矩阵,拼接得到多头注意力输出,增强记忆增强型神经网络模型捕捉文本与记忆之间多样化交互的能力,得到记忆读出向量;

将记忆读出向量与隐藏状态序列拼接,作为下一层编码器的输入,实现层次化编码器各层之间的信息传递和特征融合;

在解码器中,使用门控循环单元对记忆读出向量进行序列建模,并使用多头注意力机制计算解码器隐藏状态与编码器输出的匹配度,得到上下文向量;

将上下文向量与解码器隐藏状态拼接,经过线性变换和归一化指数函数,得到生成词的概率分布,解码生成结构化的意见摘要和关键词。

3.根据权利要求1所述的方法,其特征在于,所述层次化编码器用于提取文本的字、词、句子和段落级语义特征;所述键值记忆网络采用多层稀疏记忆矩阵,通过局部敏感哈希实现快速寻址,并引入遗忘机制动态更新记忆,用于存储长期上下文信息并对层次化编码器提取的语义特征进行增强;所述指针生成网络用于根据记忆增强的语义特征,采用集束搜索算法解码,结合词表掩码机制和长度惩罚,生成结构化的意见摘要和关键词,同时可以选择性地复制输入文本中的片段的步骤包括:所述层次化编码器,用于接收输入的长文本用户意见,通过字符级卷积神经网络提取字符级局部特征,并通过词级自注意力机制捕捉词与词之间的长距离依赖关系,然后使用句子级卷积神经网络提取句子级局部特征,最后通过段落级门控循环单元提取段落级全局特征,从而自底向上地提取用户意见的多粒度层次化语义表示;

所述键值记忆网络,包括键矩阵、值矩阵和读写控制器,其中,键矩阵和值矩阵均为多层稀疏矩阵,用于存储长期上下文信息;读写控制器用于接收层次化编码器提取的多粒度层次语义表示,通过注意力机制和局部敏感哈希算法,在键矩阵中快速检索与当前输入最相关的记忆片段,并从对应的值矩阵中读取相应的记忆内容,对层次化编码器提取的多粒度层次语义表示进行增强;读写控制器通过门控机制动态更新键矩阵和值矩阵,引入遗忘机制以丢弃不再需要的过期记忆,从而使键值记忆网络能够自适应地存储和更新长期上下文信息;

所述指针生成网络,以键值记忆网络增强后的多粒度层次语义表示为输入,采用注意力机制的解码器针对摘要生成任务和关键词提取任务分别进行解码生成,在解码过程中通过指针网络机制,允许从输入的用户意见中复制关键片段与词汇,引入集束搜索算法进行解码、词表掩码机制约束解码空间、以及基于长度的奖惩机制控制生成序列的长度,生成结构化的摘要文本和关键词序列作为输出。

4.根据权利要求3所述的方法,其特征在于,引入集束搜索算法进行解码、词表掩码机制约束解码空间、以及基于长度的奖惩机制控制生成序列的长度,生成结构化的摘要文本和关键词序列作为输出的步骤包括:将输入文本编码为隐藏状态序列,初始化解码器的隐藏状态,以及只包含序列起始符的候选集合;

在每个解码步骤中,对候选集合中的每个序列,更新解码器隐藏状态,计算注意力分布和上下文向量,并结合词表概率分布和复制概率分布得到最终的单词概率分布;

基于束搜索策略,从单词概率分布中选择概率最高的多个扩展,加入候选集合,同时引入词表掩码,将已生成的单词从词表中移除,避免重复生成;

计算每个候选序列的得分,包括对数似然得分和基于长度的奖惩项,通过设置奖惩因子控制对较短或较长序列的偏好;

重复解码步骤,直至达到最大长度或候选集合中所有序列均以序列结束符终止,选择得分最高的序列作为最终生成结果;

在生成过程中,通过调整束大小、词表掩码开关和长度奖惩因子,控制解码策略,以满足不同任务需求和性能优化目标。

5.根据权利要求1所述的方法,其特征在于,对记忆增强型神经网络模型输出的意见摘要和关键词进行后处理,得到规范化的结构化意见信息的步骤包括:根据关键词在意见文本集合中出现的数量,计算每个关键词的文档频率,得到反映关键词在意见文本中分布广度的文档频率结果;

基于关键词的文档频率和意见文本总数,通过取对数运算,计算每个关键词的逆文档频率,得到衡量关键词在整个文本集合中区分度的逆文档频率结果;

统计每个关键词在对应的意见摘要中出现的次数,得到体现关键词在摘要内容中贡献大小的词频结果;

将关键词的词频与逆文档频率相乘,得到综合考虑关键词在摘要中重要性和在整体上区分度的词频-逆文档频率(TF-IDF)值;

根据关键词的TF-IDF值,对意见摘要中的所有关键词进行降序排序,选择TF-IDF值最高的若干个关键词作为最终的关键词筛选结果,突出反映意见摘要核心内容。

6.根据权利要求1所述的方法,其特征在于,所述业务领域知识库采用本体和规则相结合的方式构建,包含领域概念、实体、关系和约束规则,通过知识推理实现深层次的意见理解的步骤包括:根据意见信息中识别出的实体和关系,构建简单协议和资源描述框架查询语言(SPARQL)查询语句,从以资源描述框架格式存储的知识库中检索与实体和关系相关的三元组知识;

将检索得到的三元组知识与知识库中预定义的IF-THEN形式的推理规则进行匹配,通过前向推理或后向推理算法触发规则,根据规则的后件生成新的三元组知识;

利用本体中的类别层次关系,根据实体的类别属性,结合子类、父类关系,通过本体推理扩展意见信息的知识范围和粒度;

对推理过程中产生的知识进行一致性检查,通过基于规则的置信度比较,自动识别属性值冲突、类别归属冲突和关系冲突,并根据领域知识和业务规则进行冲突消解,确保推理结果的一致性和可靠性;

将推理得到的新知识与原有的意见实体和关系进行融合,考虑知识的置信度和来源可信性,采用概率图模型对不同来源的知识进行建模和推断,得到统一的意见知识表示,形成意见理解报告。

7.根据权利要求1所述的方法,其特征在于,通过强化学习算法,利用用户反馈动态调整应答策略,实现人机交互优化的步骤包括:将意见交互过程建模为马尔可夫决策过程,定义状态空间,根据用户意见询问、系统应答历史、用户反馈和对话轮次信息表示交互状态;

定义系统动作空间,包括意见汇总、观点对比、细节列举、多轮澄清和寒暄回复的应答动作类型;

结合用户对系统应答的反馈评分和预训练的对话质量评估模型,设计状态-动作对上的奖赏函数,综合考虑用户满意度和应答质量;

采用函数近似的方法表示状态-动作价值函数,使用深度神经网络拟合该价值函数,深度神经网络的输入为交互状态特征,输出为应答动作的价值估计;

利用经验回放机制进行离线策略学习,将交互过程中产生的状态转移样本存储到经验回放池中,通过随机采样回放样本来更新价值网络参数;

在生成实际应答动作时,采用ε-贪心策略平衡探索和利用,根据当前状态的价值估计选择最优动作,并随训练进行逐渐降低探索概率;

将训练好的价值网络通过模型压缩、知识蒸馏技术转换为轻量化的在线决策模型,提升决策效率和响应速度。

8.基于记忆增强的长文本用户意见理解系统,用于实现前述权利要求1-7中任一项所述的方法,其特征在于,包括:第一单元,用于获取待理解的长文本用户意见,对所述长文本用户意见进行预处理,包括分词、词性标注、命名实体识别和依存句法分析,得到富含语言学特征的文本表示;利用词向量模型,将文本表示映射为低维稠密向量,作为记忆增强型神经网络模型的输入,所述词向量模型采用预训练语言模型,在领域语料上进行增量训练;所述记忆增强型神经网络模型采用多头注意力机制和门控循环单元构建,包括层次化编码器、键值记忆网络、指针生成网络三个模块;所述层次化编码器用于提取文本的字、词、句子和段落级语义特征;所述键值记忆网络采用多层稀疏记忆矩阵,通过局部敏感哈希实现快速寻址,并引入遗忘机制动态更新记忆,用于存储长期上下文信息并对层次化编码器提取的语义特征进行增强;所述指针生成网络用于根据记忆增强的语义特征,采用集束搜索算法解码,结合词表掩码机制和长度惩罚,生成结构化的意见摘要和关键词,同时可以选择性地复制输入文本中的片段;

第二单元,用于对记忆增强型神经网络模型输出的意见摘要和关键词进行后处理,得到规范化的结构化意见信息;根据结构化意见信息,利用预先构建的业务领域知识库,对用户意见进行理解和分析,生成意见理解报告,所述业务领域知识库采用本体和规则相结合的方式构建,包含领域概念、实体、关系和约束规则,通过知识推理实现深层次的意见理解;

第三单元,用于基于意见理解报告,结合领域对话知识库和用户画像,自动生成应答,应答形式包括文本、语音、图表,其中所述领域对话知识库采用多轮对话数据学习得到,包含意图识别、槽位填充、对话策略学习功能,实现上下文相关、逻辑自洽的多轮应答;通过强化学习算法,利用用户反馈动态调整应答策略,实现人机交互优化。

9.一种电子设备,其特征在于,包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至7中任意一项所述的方法。

10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。