1.一种儿童呼吸科疾病诊断的智能辅助系统,其特征在于,包括:
诊断儿童问诊记录获取模块,用于获取待诊断儿童的医生问诊记录信息;
辅助检查信息获取模块,用于响应于所述医生问诊记录信息中存在辅助检查项目,获取所述待诊断儿童的辅助检查项目的辅助检查信息;
问诊记录信息编码模块,用于对所述医生问诊记录信息进行分段处理和全局语义编码聚合以得到医生问诊记录信息全局语义聚合特征;
辅助检查隐含特征提取模块,用于对所述辅助检查信息进行隐含特征提取以得到辅助检查隐含语义特征;
跨模态语义联合模块,用于对所述医生问诊记录信息全局语义聚合特征和所述辅助检查隐含语义特征进行跨模态语义联合以得到医生问诊记录-辅助检查跨模态语义联合编码特征,其中,所述跨模态语义联合模块,包括:辅助特征分解单元,用于对所述辅助检查隐含语义特征进行局部特征分解以得到辅助检查隐含语义局部特征的集合;提示引导特征联合单元,用于对所述医生问诊记录信息全局语义聚合特征和所述辅助检查隐含语义局部特征的集合进行提示引导的特征联合以得到所述医生问诊记录-辅助检查跨模态语义联合编码特征;
辅助结果生成展示模块,用于基于所述医生问诊记录-辅助检查跨模态语义联合编码特征,得到辅助诊断结果,并对所述辅助诊断结果进行展示;
其中,所述问诊记录信息编码模块,包括:
问诊记录信息分段编码单元,用于将所述医生问诊记录信息按照记录类别维度进行分段处理后,分别对所述医生问诊记录信息中的各段医生问诊记录信息进行语义编码以得到医生问诊记录信息段语义特征向量的序列;
问诊记录信息全局语义聚合单元,用于将所述医生问诊记录信息段语义特征向量的序列通过基于双向LTSM模型的医生问诊记录全局语义聚合器以得到医生问诊记录信息全局语义聚合特征向量作为所述医生问诊记录信息全局语义聚合特征;
其中,所述辅助检查隐含特征提取模块,用于:将所述辅助检查信息通过基于深度可分离卷积神经网络模型的辅助检查隐含特征提取器以得到辅助检查隐含语义特征图作为所述辅助检查隐含语义特征;
其中,所述辅助特征分解单元,用于:对所述辅助检查隐含语义特征图进行沿通道维度的局部特征分解以得到辅助检查隐含语义局部特征矩阵的集合作为所述辅助检查隐含语义局部特征的集合;
其中,所述提示引导特征联合单元,包括:
医生问诊记录-辅助检查查询提示子单元,用于以所述医生问诊记录信息全局语义聚合特征向量作为查询向量且以所述辅助检查隐含语义局部特征矩阵的集合中的各个辅助检查隐含语义局部特征矩阵作为键矩阵,将所述查询向量和所述键矩阵输入基于转化器结构的提示学习网络以得到医生问诊记录-辅助检查局部查询提示语义编码向量的集合;
医生问诊记录-辅助检查特征掩码子单元,用于将所述医生问诊记录信息全局语义聚合特征向量和所述医生问诊记录-辅助检查局部查询提示语义编码向量的集合中的各个医生问诊记录-辅助检查局部查询提示语义编码向量输入基于提示信息的跨模态掩码编织网络以得到基于提示信息的医生问诊记录-辅助检查跨模态局部特征掩码权重矩阵的集合;
医生问诊记录-辅助检查特征细粒度交互子单元,用于计算所述基于提示信息的医生问诊记录-辅助检查跨模态局部特征掩码权重矩阵的集合和所述辅助检查隐含语义局部特征矩阵的集合中每组对应的基于提示信息的医生问诊记录-辅助检查跨模态局部特征掩码权重矩阵和辅助检查隐含语义局部特征矩阵之间的按位置点乘以得到医生问诊记录-辅助检查跨模态局部粒度显著交互矩阵的集合;
医生问诊记录-辅助检查特征联合子单元,用于将所述医生问诊记录-辅助检查跨模态局部粒度显著交互矩阵的集合进行特征聚合以得到医生问诊记录-辅助检查跨模态语义联合编码特征图作为所述医生问诊记录-辅助检查跨模态语义联合编码特征。
2.根据权利要求1所述的儿童呼吸科疾病诊断的智能辅助系统,其特征在于,所述医生问诊记录-辅助检查查询提示子单元,包括:医生问诊记录-辅助检查相似度分数计算二级子单元,用于计算所述医生问诊记录信息全局语义聚合特征向量与所述辅助检查隐含语义局部特征矩阵中各个行向量之间的相似度分数以得到医生问诊记录-辅助检查相似度分数的集合;
医生问诊记录-辅助检查权重计算二级子单元,用于对所述医生问诊记录-辅助检查相似度分数的集合中各个医生问诊记录-辅助检查相似度分数进行标准化处理以得到医生问诊记录-辅助检查权重系数的集合;
医生问诊记录-辅助检查特征加权二级子单元,用于基于所述医生问诊记录-辅助检查权重系数的集合,计算所述辅助检查隐含语义局部特征矩阵中各个行向量的加权和以得到所述医生问诊记录-辅助检查局部查询提示语义编码向量。
3.根据权利要求2所述的儿童呼吸科疾病诊断的智能辅助系统,其特征在于,所述医生问诊记录-辅助检查相似度分数计算二级子单元,用于:计算所述辅助检查隐含语义局部特征矩阵中各个行向量的二范数以得到辅助检查隐含语义局部范数值的集合;
计算所述医生问诊记录信息全局语义聚合特征向量的二范数以得到医生问诊记录信息全局语义范数值;
将所述医生问诊记录信息全局语义范数值与所述辅助检查隐含语义局部范数值的集合进行按位置相乘以得到医生问诊记录-辅助检查联合值的集合;
分别计算所述医生问诊记录信息全局语义聚合特征向量与所述辅助检查隐含语义局部特征矩阵中各个行向量的转置向量之间的乘积以得到医生问诊记录-辅助检查相关值的集合;
将所述医生问诊记录-辅助检查相关值的集合与所述医生问诊记录-辅助检查联合值的集合中每组对应的医生问诊记录-辅助检查相关值与医生问诊记录-辅助检查联合值进行相除以得到所述医生问诊记录-辅助检查相似度分数的集合。
4.根据权利要求3所述的儿童呼吸科疾病诊断的智能辅助系统,其特征在于,所述医生问诊记录-辅助检查权重计算二级子单元,用于:计算以自然常数e为底,以所述医生问诊记录-辅助检查相似度分数的集合中每个医生问诊记录-辅助检查相似度分数为指数幂的自然指数函数值以获得医生问诊记录-辅助检查相似度调制分数的集合;
计算所述医生问诊记录-辅助检查相似度调制分数的集合的逐位置点加以得到医生问诊记录-辅助检查相似度分数总加和值;
将所述医生问诊记录-辅助检查相似度调制分数的集合与所述医生问诊记录-辅助检查相似度分数总加和值进行按位置相除以获得所述医生问诊记录-辅助检查权重系数的集合。
5.根据权利要求4所述的儿童呼吸科疾病诊断的智能辅助系统,其特征在于,所述医生问诊记录-辅助检查特征掩码子单元,用于:将所述医生问诊记录-辅助检查局部查询提示语义编码向量的转置向量与所述医生问诊记录信息全局语义聚合特征向量进行相乘以得到医生问诊记录-辅助检查提示关联矩阵;
将所述医生问诊记录-辅助检查提示关联矩阵与所述医生问诊记录-辅助检查提示关联矩阵的尺度的平方根进行按位置相除以得到医生问诊记录-辅助检查提示关联调制矩阵;
将所述医生问诊记录-辅助检查提示关联调制矩阵输入softmax函数以得到所述基于提示信息的医生问诊记录-辅助检查跨模态局部特征掩码权重矩阵。
6.根据权利要求5所述的儿童呼吸科疾病诊断的智能辅助系统,其特征在于,所述辅助结果生成展示模块,用于:将所述医生问诊记录-辅助检查跨模态语义联合编码特征图通过基于分类器的儿童呼吸疾病辅助诊断器以得到所述辅助诊断结果,所述辅助诊断结果用于表示所述待诊断儿童的呼吸疾病类型标签;
将所述辅助诊断结果传送至显示终端进行展示。