1.一种问题理解导向的视频问答方法,其特征在于,包括:
对视频帧进行多模态特征提取,得到外观特征、对象特征和动作特征;
获取视频问答的问题,对问题进行多层编码后获得单词级问题表示和全局问题表示;
利用全局问题表示和视频帧的特征作为指导,将对象特征整合到外观中,得到每个视频帧的对象增强的外观特征;
将单词级问题表示分别与对象增强的外观特征以及动作特征进行拼接后输入到神经网络模型中,得到外观增强的单词级问题表示以及动作增强的单词级问题表示;
将外观增强的单词级问题表示以及动作增强的单词级问题表示进行加权融合后输入答案解码器推断出答案。
2.如权利要求1所述的一种问题理解导向的视频问答方法,其特征在于,所述对问题进行多层编码包括:将问题输入至预训练的语言模型中,提取不同抽象层次的不同特征;将提取的不同层次的特征分别输入至全连接层,再对其进行激活操作,得到每一层的单词级问题表示;
将每一层的单词级问题表示输入至长短期记忆网络中,得到每一层的上下文感知的单词级问题表示和语句级问题表示;
分别将每一层的上下文感知的单词级问题表示和语句级问题表示进行多层特征汇聚后得到最终的单词级问题表示和语句级问题表示;
将最终的语句级问题表示沿着层维度方向进行平均池化,获得全局问题表示。
3.如权利要求2所述的一种问题理解导向的视频问答方法,其特征在于,利用预训练的语言模型的第3隐藏层、第6隐藏层、第9隐藏层以及最后一层隐藏层来提取不同抽象层次的不同特征。
4.如权利要求2所述的一种问题理解导向的视频问答方法,其特征在于,所述分别将每一层的上下文感知的单词级问题表示和语句级问题表示进行多层特征汇聚,包括:对语句级问题表示和全局问题表示之间的维度相似性进行建模,然后使用每一层的问题的语句级问题表示的元素权重来获得细粒度的语义增强的语句级问题表示;
将语义增强的语句级问题表示输入至多层感知网络,得到每一层的注意力向量;基于注意力向量对单词级问题表示进行加权求和得到最终的单词级问题表示。
5.如权利要求1所述的一种问题理解导向的视频问答方法,其特征在于,所述利用全局问题表示和视频帧的特征作为指导,将对象特征整合到外观中,得到每个视频帧的对象增强的外观特征,包括:利用多头注意力机制对象特征进行处理,得到上下文增强的对象特征;
利用全局问题表示聚合对象特征,得到每一帧的全局问题感知外观表示;
利用外观特征聚合对象,得到每一帧的全局帧感知外观表示;
采用自适应融合机制融合每一帧的外观特征、问题感知表示以及外观感知表示,得到对象增强的外观特征。
6.如权利要求5所述的一种问题理解导向的视频问答方法,其特征在于,所述利用全局问题表示聚合对象特征,得到每一帧的全局问题感知外观表示,包括:计算每个对象特征和全局问题表示之间的相关性分数,对得到的相关性分数进行归一化,获得所有对象的注意力分数;
根据注意力分数对每一帧内的对象进行加权求和,得到每一帧的全局问题感知外观表示。
7.如权利要求5所述的一种问题理解导向的视频问答方法,其特征在于,所述利用外观特征聚合对象,得到每一帧的全局帧感知外观表示,包括:计算每个对象和视频帧外观特征之间的相关性分数,对得到的相关性分数进行归一化,获得所有对象的注意力分数;对每一帧内的对象执行加权求和,得到每一帧的全局帧感知外观表示。
8.一种问题理解导向的视频问答系统,其特征在于,包括:
多模态信息获取模块,被配置为:对视频帧进行多模态特征提取,得到外观特征、对象特征和动作特征;
多层问题编码模块,被配置为:获取视频问答的问题,对问题进行多层编码后获得单词级问题表示和全局问题表示;
外观特征增强模块,被配置为:利用全局问题表示和视频帧的特征作为指导,将对象特征整合到外观中,得到每个视频帧的对象增强的外观特征;
单词级问题表示增强模块,被配置为:将单词级问题表示分别与对象增强的外观特征以及动作特征进行拼接后输入到神经网络模型中,得到外观增强的单词级问题表示以及动作增强的单词级问题表示;
答案生成模块,被配置为:将外观增强的单词级问题表示以及动作增强的单词级问题表示进行加权融合后输入答案解码器推断出答案。
9.如权利要求8所述的一种问题理解导向的视频问答系统,其特征在于,所述对问题进行多层编码包括:将问题输入至预训练的语言模型中,提取不同抽象层次的不同特征;将提取的不同层次的特征分别输入至全连接层,再对其进行激活操作,得到每一层的单词级问题表示;
将每一层的单词级问题表示输入至长短期记忆网络中,得到每一层的上下文感知的单词级问题表示和语句级问题表示;
分别将每一层的上下文感知的单词级问题表示和语句级问题表示进行多层特征汇聚后得到最终的单词级问题表示和语句级问题表示;
将最终的语句级问题表示沿着层维度方向进行平均池化,获得全局问题表示。
10.如权利要求9所述的一种问题理解导向的视频问答系统,其特征在于,利用预训练的语言模型的第3隐藏层、第6隐藏层、第9隐藏层以及最后一层隐藏层来提取不同抽象层次的不同特征。