1.一种面向多模态信息处理的神经符号推理方法,其特征在于,包括以下步骤:获取多模态输入数据;所述多模态输入数据包括图像数据和文本数据;
分别提取图像数据和文本数据在预定义属性集合上的语义属性表示,得到多模态的语义属性表示;
将多模态的语义属性表示映射为一阶逻辑形式的谓词,构建符号化的多模态属性事实集;
将多模态属性事实集与预构建的一阶逻辑知识库中的逻辑规则一同输入马尔可夫逻辑网络,在概率逻辑框架下完成属性级信念更新和类别判断,得到推理结果;
对推理结果进行整合,并生成可解释的决策结果和推理逻辑链路;
分别提取图像数据和文本数据在预定义属性集合上的语义属性表示,得到多模态的语义属性表示的步骤,具体包括:通过视觉语义编码器提取图像数据的高层语义特征,然后基于视觉属性判别子网络将这些高层语义特征映射至预定义属性集合的语义维度,输出各属性的激活值,并通过阈值化或离散化机制将各属性的激活值转化为可解释的属性信念,得到图像模态的语义属性表示;
通过文本语义编码器解析文本数据中与视觉属性空间共享的语义内容,然后基于文本属性抽取子网络根据语义内容生成文本侧的属性预测结果,并通过阈值化或离散化机制将文本侧的属性预测结果转化为属性级的语义信念表示,得到文本模态的语义属性表示。
2.根据权利要求1所述的面向多模态信息处理的神经符号推理方法,其特征在于,将多模态的语义属性表示映射为一阶逻辑形式的谓词,构建符号化的多模态属性事实集的步骤,具体包括:为每个样本分配一个逻辑常量,然后通过属性逻辑映射器将多模态的语义属性表示映射为谓词形式,生成谓词集合,构成该样本的符号化多模态属性事实集;该多模态属性事实集使多模态信息在符号层面实现结构统一,并为后续的马尔可夫逻辑网络推理提供底层逻辑证据和可度量的属性表征信息。
3.根据权利要求1所述的面向多模态信息处理的神经符号推理方法,其特征在于,将多模态属性事实集与预构建的一阶逻辑知识库中的逻辑规则一同输入马尔可夫逻辑网络,在概率逻辑框架下完成属性级信念更新和类别判断,得到推理结果的步骤,具体包括:将多模态属性事实集按照语义相关性划分为若干属性组,并分别对这些属性组进行推理;
针对每个属性组,计算其与逻辑规则之间的关联程度,并在多轮迭代过程中不断调整属性的置信度,使其逐步符合逻辑规则所要求的模式;
在多轮迭代更新后,得到一个经过逻辑规则修正后的属性结果;
将逻辑规则修正后的属性结果与类别原型进行匹配,生成最终的类别判断。
4.根据权利要求1或3所述的面向多模态信息处理的神经符号推理方法,其特征在于,所述一阶逻辑知识库以一阶逻辑形式编码领域知识,包含属性之间的蕴含关系、属性之间的互斥关系、属性的共现规律、类别判别规则以及与任务相关的结构性逻辑约束。
5.根据权利要求1所述的面向多模态信息处理的神经符号推理方法,其特征在于,对推理结果进行整合,并生成可解释的决策结果和推理逻辑链路的步骤,具体包括:将推理结果应用于下游任务,生成可解释的决策结果;
基于推理逻辑链路生成器,对马尔可夫逻辑网络的推理过程进行解析,生成可解释的推理逻辑链路;
通过将决策结果与其背后的推理逻辑链路一并输出,提供结构化的解释信息和逻辑决策路径。
6.一种面向多模态信息处理的神经符号推理系统,用于实现权利要求1-5中任一项所述的神经符号推理方法,其特征在于,包括:一阶逻辑知识库模块,用于构建和储存一阶逻辑知识库;
多模态输入模块,用于获取多模态输入数据;所述多模态输入数据包括图像数据和文本数据;
多模态属性特征提取模块,用于分别提取图像数据和文本数据在预定义属性集合上的语义属性表示,得到多模态的语义属性表示;
多模态属性事实构建模块,用于将多模态的语义属性表示映射为一阶逻辑形式的谓词,构建符号化的多模态属性事实集;
符号逻辑推理模块,用于将多模态属性事实集与预构建的一阶逻辑知识库中的逻辑规则一同输入马尔可夫逻辑网络,在概率逻辑框架下完成属性级信念更新和类别判断,得到推理结果;
下游任务执行与解释输出模块,用于对推理结果进行整合,并生成可解释的决策结果和推理逻辑链路。