欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019110930194
申请人: 湖南大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种短视频数据标签推荐方法,包括:

获取多模态短视频数据,提取所述多模态短视频数据中的图像数据、音频数据以及文本数据;

分别提取所述图像数据、所述音频数据以及所述文本数据的情感特征矩阵,分别提取所述图像数据、所述音频数据以及所述文本数据的内容特征矩阵;

通过预设情感共同空间获取各所述情感特征矩阵对应的多模态融合情感特征向量,通过预设内容共同空间获取各所述内容特征矩阵对应的多模态融合内容特征向量;

获取预设标签语义与所述多模态融合情感特征向量以及所述多模态融合内容特征向量的匹配分数;

根据所述匹配分数为所述多模态短视频数据推荐标签;

所述获取多模态短视频数据,提取多模态短视频数据中的图像数据、音频数据以及文本数据包括:获取多模态短视频数据;

分离所述多模态短视频数据的图像模态数据以及音频模态数据;

提取所述图像模态数据中的关键帧数据,将所述关键帧数据作为图像数据;

将所述音频模态数据分割为各音频片段,将所述各音频片段作为音频数据;

将所述多模态短视频数据对应的文本模态数据作为文本数据;

所述提取所述图像模态数据中的关键帧数据包括:

以预设的时间跨度,从分离后的图像模态数据中提取图片作为关键帧数据;

所述分别提取所述图像数据、所述音频数据以及所述文本数据的情感特征矩阵,分别提取所述图像数据、所述音频数据以及所述文本数据的内容特征矩阵包括:通过预设ResNet‑152特征提取器提取所述图像数据内各关键帧对应的内容特征向量,根据所述各关键帧对应的内容特征向量构建所述图像数据对应的内容特征矩阵;

通过预设CNN特征提取器提取所述图像数据内各关键帧对应的情感特征向量,根据所述各关键帧对应的情感特征向量构建所述图像数据对应的情感特征矩阵;

通过预设SoundNet CNN特征提取器提取所述音频数据内各音频片段对应的内容特征向量,根据各音频片段对应的内容特征向量构建所述音频数据对应的内容特征矩阵;

通过预设Librosa工具库提取所述音频数据内各音频片段对应的各基础声学特征,根据所述基础声学特征获取所述音频数据内各音频片段对应的情感特征向量,根据各音频片段对应的情感特征向量构建所述音频数据对应的情感特征矩阵;

获取所述文本数据内各单词对应的glove词向量,将所述各单词对应的glove词向量作为各单词对应的内容特征向量,根据所述各单词对应的内容特征向量构建所述文本数据对应的内容特征矩阵;

通过预设CoreNLP工具提取所述文本数据对应的情感特征矩阵;

所述通过预设情感共同空间获取各所述情感特征矩阵对应的多模态融合情感特征向量,通过预设内容共同空间获取各所述内容特征矩阵对应的多模态融合内容特征向量包括:获取各所述情感特征矩阵对应情感特征向量,所述图像数据的情感特征矩阵对应情感特征向量根据所述图像数据内各关键帧对应的情感特征向量的平均值获取,所述音频数据的情感特征矩阵对应情感特征向量根据所述音频数据内各音频片段对应的情感特征向量的平均值获取;

通过多层感知机分别将所述图像数据、所述音频数据以及所述文本数据对应的情感特征向量映射至情感共同空间,通过对齐损失函数对齐调整映射至所述情感共同空间的情感特征向量,获取所述图像数据、所述音频数据以及所述文本数据的情感特征矩阵对应的多模态融合情感特征向量;

将所述图像数据、所述音频数据以及所述文本数据对应的内容特征矩阵内的各内容特征向量输入预设双向LSTM神经网络,获取各内容特征向量对应的前向隐状态向量以及后向隐状态向量;

通过自注意力机制,根据所述各内容特征向量对应的前向隐状态向量以及后向隐状态向量,获取各内容特征向量对应的内容特征权重;

根据所述图像数据、所述音频数据以及所述文本数据对应的内容特征矩阵,以及所述各内容特征向量对应的内容特征权重,获取所述图像数据、所述音频数据以及所述文本数据对应的内容特征向量,通过对齐损失函数对齐调整所述图像数据、所述音频数据以及所述文本数据对应的内容特征向量,获取所述图像数据、所述音频数据以及所述文本数据的内容特征矩阵对应的多模态融合内容特征向量;

所述获取预设标签语义与所述多模态融合情感特征向量以及所述多模态融合内容特征向量的匹配分数包括:拼接预设标签语义对应的标签语义特征向量、所述多模态融合情感特征向量以及所述多模态融合内容特征向量;

通过多层感知机,进行多模态融合情感特征、多模态融合内容特征以及与标签语义特征的交互,获取交互特征向量;

根据所述交互特征向量获取所述多模态短视频数据与所述标签的匹配分数。

2.根据权利要求1所述的方法,其特征在于,所述获取预设标签语义与所述多模态融合情感特征向量以及所述多模态融合内容特征向量的匹配分数之前,还包括:获取训练数据集,获取所述训练数据集中多模态短视频数据对应各标签;

对未用空格隔开的短语形式的标签自动分词;

获取通过分词得到的标签中各单词的glove词向量;

获取所述各glove词向量的词向量平均值,将所述词向量平均值作为所述标签对应的预设标签语义。

3.根据权利要求1所述的方法,其特征在于,所述分离所述多模态短视频数据的图像模态数据以及音频模态数据包括:通过FFmpeg工具分离所述多模态短视频数据的图像模态数据以及音频模态数据。

4.根据权利要求1所述的方法,其特征在于,所述根据所述匹配分数为所述多模态短视频数据推荐标签包括:当所述匹配分数大于或等于预设分数阈值时,为所述多模态短视频数据推荐所述标签语义对应的标签。

5.一种短视频数据标签推荐装置,其特征在于,所述装置包括:

模态数据提取模块,用于获取多模态短视频数据,提取多模态短视频数据中的图像数据、音频数据以及文本数据;

特征提取模块,用于分别提取所述图像数据、所述音频数据以及所述文本数据的情感特征矩阵,分别提取所述图像数据、所述音频数据以及所述文本数据的内容特征矩阵;

特征融合模块,用于通过预设情感共同空间获取各所述情感特征矩阵对应的多模态融合情感特征向量,通过预设内容共同空间获取各所述内容特征矩阵对应的多模态融合内容特征向量;

特征匹配模块,用于获取预设标签语义与所述多模态融合情感特征向量以及所述多模态融合内容特征向量的匹配分数;

标签推荐模块,用于根据所述匹配分数为所述多模态短视频数据推荐标签;

所述模态数据提取模块具体用于:获取多模态短视频数据;分离所述多模态短视频数据的图像模态数据以及音频模态数据;提取所述图像模态数据中的关键帧数据,将所述关键帧数据作为图像数据;将所述音频模态数据分割为各音频片段,将所述各音频片段作为音频数据;将所述多模态短视频数据对应的文本模态数据作为文本数据;所述提取所述图像模态数据中的关键帧数据包括:以预设的时间跨度,从分离后的图像模态数据中提取图片作为关键帧数据;

所述特征提取模块具体用于:通过预设ResNet‑152特征提取器提取所述图像数据内各关键帧对应的内容特征向量,根据所述各关键帧对应的内容特征向量构建所述图像数据对应的内容特征矩阵;通过预设CNN特征提取器提取所述图像数据内各关键帧对应的情感特征向量,根据所述各关键帧对应的情感特征向量构建所述图像数据对应的情感特征矩阵;

通过预设SoundNet CNN特征提取器提取所述音频数据内各音频片段对应的内容特征向量,根据各音频片段对应的内容特征向量构建所述音频数据对应的内容特征矩阵;通过预设Librosa工具库提取所述音频数据内各音频片段对应的各基础声学特征,根据所述基础声学特征获取所述音频数据内各音频片段对应的情感特征向量,根据各音频片段对应的情感特征向量构建所述音频数据对应的情感特征矩阵;获取所述文本数据内各单词对应的glove词向量,将所述各单词对应的glove词向量作为各单词对应的内容特征向量,根据所述各单词对应的内容特征向量构建所述文本数据对应的内容特征矩阵;通过预设CoreNLP工具提取所述文本数据对应的情感特征矩阵;

所述特征提取模块还用于:获取各所述情感特征矩阵对应情感特征向量,所述图像数据的情感特征矩阵对应情感特征向量根据所述图像数据内各关键帧对应的情感特征向量的平均值获取,所述音频数据的情感特征矩阵对应情感特征向量根据所述音频数据内各音频片段对应的情感特征向量的平均值获取;通过多层感知机分别将所述图像数据、所述音频数据以及所述文本数据对应的情感特征向量映射至情感共同空间,通过对齐损失函数对齐调整映射至所述情感共同空间的情感特征向量,获取所述图像数据、所述音频数据以及所述文本数据的情感特征矩阵对应的多模态融合情感特征向量;将所述图像数据、所述音频数据以及所述文本数据对应的内容特征矩阵内的各内容特征向量输入预设双向LSTM神经网络,获取各内容特征向量对应的前向隐状态向量以及后向隐状态向量;通过自注意力机制,根据所述各内容特征向量对应的前向隐状态向量以及后向隐状态向量,获取各内容特征向量对应的内容特征权重;根据所述图像数据、所述音频数据以及所述文本数据对应的内容特征矩阵,以及所述各内容特征向量对应的内容特征权重,获取所述图像数据、所述音频数据以及所述文本数据对应的内容特征向量,通过对齐损失函数对齐调整所述图像数据、所述音频数据以及所述文本数据对应的内容特征向量,获取所述图像数据、所述音频数据以及所述文本数据的内容特征矩阵对应的多模态融合内容特征向量;

所述特征匹配模块具体用于:拼接预设标签语义对应的标签语义特征向量、所述多模态融合情感特征向量以及所述多模态融合内容特征向量;通过多层感知机,进行多模态融合情感特征、多模态融合内容特征以及与标签语义特征的交互,获取交互特征向量;根据所述交互特征向量获取所述多模态短视频数据与所述标签的匹配分数。

6.根据权利要求5所述的装置,其特征在于,还包括标签语义获取模块,用于:获取训练数据集,获取所述训练数据集中多模态短视频数据对应各标签;对未用空格隔开的短语形式的标签自动分词;获取通过分词得到的标签中各单词的glove词向量;获取所述各glove词向量的词向量平均值,将所述词向量平均值作为所述标签对应的预设标签语义。

7.根据权利要求5所述的装置,其特征在于,所述模态数据提取模块具体用于:通过FFmpeg工具分离所述多模态短视频数据的图像模态数据以及音频模态数据。

8.根据权利要求5所述的装置,其特征在于,所述标签推荐模块具体用于:当所述匹配分数大于或等于预设分数阈值时,为所述多模态短视频数据推荐所述标签语义对应的标签。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。