欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023111708037
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合图像信息的越汉跨语言新闻文本摘要方法,其特征在于:所述方法的具体步骤如下:Step1、从互联网多个新闻网站上爬取越南语新闻文本及其对应新闻图像,并对其进行处理,构建越汉多模态跨语言摘要数据集;

Step2、文本编码器负责将输入的越南语新闻文本转化为语义表征,捕捉关键信息和语义关联;

Step3、图像编码器将输入的新闻图像转换为图像表征,提取图像中的视觉信息;

Step4、图文对比损失通过最大化正样本相似性和最小化负样本相似性,将图像和文本之间的信息进行有效关联和整合;

Step5、图文融合器将文本表征和图像表征进行融合,获取融合后的图文表征;通过充分捕获文本和图像之间的关联性,提取文本中的关键信息;

Step6、摘要解码器使用融合后的图文特征作为输入,生成中文的摘要;

所述步骤Step5的具体步骤为:

Step5.1、在进行图文融合前,利用多头注意力机制和前馈神经网络对文本进行进一步编码,得到输出然后结合图像编码器的输出进行图文融合,具有S个视觉特征向量序列,其中图文融合器的层数为6-L;L为编码器的层数;

Step5.2、使用基于多头注意力融合,引入多个注意力头,采用多个并行的注意力头同时学习和捕捉不同的特征信息;

其中查询向量Q从输入文本特征中获取,键向量K和值向量V从输入视觉特征中获取,将向量Q,K,V相应地进行了线性投影,分别表示为Pq、Pk和Pv;Q=OcPq,K=OvPk,V=OvWv,采用一个跨模态多头注意实现对文本的筛选和重组,最终得到视觉特征D1;

最后,参考点积注意力融合连接输入的文本特征Oc与视觉特征D1,得到视觉引导的文本特征Oc′,随后,将这个特征通过线性变换P投影到所需的维度;

O′c=Concat(Oc,D1)P。

2.根据权利要求1所述的融合图像信息的越汉跨语言新闻文本摘要方法,其特征在于:所述步骤Step1的具体步骤为:Step1.1、在多个新闻网站上爬取越南语新闻文本及其对应新闻图像初步构建了一个多模态单语摘要数据集,然后将越南语摘要翻译为中文摘要;

Step1.2、对构建的数据进行清洗,使用往返翻译策略,通过设置ROUGE得分的阈值来过滤低质量翻译的摘要文本,并只保留新闻图片前三张。

3.根据权利要求1所述的融合图像信息的越汉跨语言新闻文本摘要方法,其特征在于:所述步骤Step2的具体步骤:Step2.1、编码器输入序列为将Sa输入进行编码得到新闻序列的向量表征W={w1,w2,w3,…,wE},其中S代表越南语新闻文章,E为输入文本序列长度,表示在越南语新闻文章A上的第E个词,编码器的层数设置为L,最终得到文本输出dt为特征维度;

Step2.2、在文本的编码器端,采用自注意力机制来捕捉输入序列中的全局依赖关系,为每个输入元素赋予一个权重,这个权重由该元素与序列中所有其他元素的相关性决定;

其中Q,K,V分别为查询(query),键(key),值(value),dk表示向量K的维度;

Step2.3、再将每一个头拼接相连得到多头注意力机制;

MultiHead(Q,K,V)=Concat(head1,…,headn)其中,是权重参数矩阵,h是注意力头的数量。

4.根据权利要求1所述的融合图像信息的越汉跨语言新闻文本摘要方法,其特征在于:所述步骤Step3的具体步骤为:Step3.1、给定图像编码器输入序列为I={img1,img2,…,imgM},其中M是指输入新闻图像的序列,使用ViT原始图像转换为图像嵌入,与文本嵌入一并作为图像编码器的输入;

其中,ViT是将每张图像分成多个patches,将2D图像重塑为平坦的其中(H,W)是原始图像的分辨率,C是通道数,(P,P)是每个图像块的分辨率,以及N=HW/P2为最终的patches数量,将这一连串的patches作为图像tokenizer的输入,完成图像patches处理后,还需要进行图像块嵌入操作,对每一个展平后的patch线性投影到D维,Epos为位置编码,E为输入文本序列长度;

Step3.2、将生成的Z0序列作为Transformer编码器的输入:Zl+1=Transformer(Zl),l=1,2,…,L

其中L为Transformer模型中编码器的层数;再对输出向量进行全局最大池化操作vi=MaxPooling(ZL),其中最终得到输出的图像序列长度为M视觉特征向量序列

5.根据权利要求1所述的融合图像信息的越汉跨语言新闻文本摘要方法,其特征在于:所述步骤Step4的具体步骤为:Step4.1、相似度函数s=gv(v)Tgw(w),其中v=Ov,w=Linear(Ot),gv(v)和gw(w)是将图文的高维表示映射到标准化低维表示的线性变换,匹配的图像-文本对就会具有更高的相似度得分;再次针对gv(v)和gw(w)设计两个队列来存储两个独立的单模态编码器不同的图文表示,将它们的特征记为g′v(v′)和g′w(w′),对于每一个图文对计算其softmax归一化的图像-文本和文本-图像的相似度:其中τ是调控参数,进行概率分布的调整;

Step4.2、设和是分别表示图像到文本和文本到图像ground-truth的one-hot相似度,负样本对的概率是0,而正样本对的概率是1;

图文对比损失之间的损失函数为;

其中,H(,)为交叉熵函数,正样本为同一新闻文章中的图像-文本对而负样本为同一个batch中不同新闻文章中的图像-文本对,通过计算正负样本相似性的相似度得分,模型能够学习到更具有区分性的图文表征,进而更好地区分相似和不相似的图文对。

6.根据权利要求1所述的融合图像信息的越汉跨语言新闻文本摘要方法,其特征在于:所述步骤Step6的具体步骤为:Step6.1、解码器输入序列为其中T代表中文摘要,D2为输出序列长度;

Step6.2、每个解码器层由三个子层连接结构组成,其中与编码器层不同之处在于引入了带掩码的多头注意力子层,使得解码器能够按顺序逐步生成目标语言序列,并在生成过程中充分利用源语言序列的信息,通过编、解码器的联合训练,以在给定源序列的情况下最大化目标序列的损失函数,得到解码损失Lcls;

Step6.3、最后,将图文对比损失和解码损失相加,得到最终的损失函数:Ltotal=LCL+Lcls

其中,LcL为图文对比损失,Lcls为解码损失。