1.一种患者病历数据处理方法,其特征在于,包括:
获取医嘱文本图像;
对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量;
对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列;
对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征;
基于所述多模态医嘱文本融合特征,确定最终医嘱识别文本,并生成电子医嘱单;
其中,对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征,包括:将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块以得到多模态医嘱文本融合特征向量,作为所述多模态医嘱文本融合特征;
其中,将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块以得到多模态医嘱文本融合特征向量作为所述多模态医嘱文本融合特征,包括:将所述医嘱文本语义编码特征向量通过基于全连接层的医嘱文本语义全连接编码器以得到医嘱文本语义全连接特征向量;
将所述医嘱文本图像语义特征向量的序列进行位置编码后排列为医嘱文本图像语义全局特征向量;
融合所述医嘱文本语义全连接特征向量和所述医嘱文本图像语义全局特征向量以得到医嘱文本全局语义多模态融合特征向量;
将所述医嘱文本图像语义特征向量的序列通过基于一维卷积层的医嘱文本图像语义关联特征提取器以得到医嘱文本图像全局语义关联特征向量;
融合所述医嘱文本全局语义多模态融合特征向量和所述医嘱文本图像全局语义关联特征向量以得到所述多模态医嘱文本融合特征向量。
2.根据权利要求1所述的患者病历数据处理方法,其特征在于,对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量,包括:对所述医嘱文本图像进行文本识别以得到初步医嘱识别文本;
对所述初步医嘱识别文本进行语义编码以得到所述医嘱文本语义编码特征向量。
3.根据权利要求2所述的患者病历数据处理方法,其特征在于,对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列,包括:对所述医嘱文本图像进行图像分块处理以得到医嘱文本图像块的序列;
将所述医嘱文本图像块的序列通过基于卷积神经网络模型的字形特征提取器以得到所述医嘱文本图像语义特征向量的序列。
4.根据权利要求3所述的患者病历数据处理方法,其特征在于,基于所述多模态医嘱文本融合特征,确定最终医嘱识别文本,并生成电子医嘱单,包括:将所述多模态医嘱文本融合特征向量通过解码器以得到最终医嘱识别文本;
基于所述最终医嘱识别文本,生成电子医嘱单。
5.根据权利要求4所述的患者病历数据处理方法,其特征在于,将所述多模态医嘱文本融合特征向量通过解码器以得到最终医嘱识别文本,包括:基于所述医嘱文本语义编码特征向量对所述多模态医嘱文本融合特征向量进行优化以得到优化后多模态医嘱文本融合特征向量;
将所述优化后多模态医嘱文本融合特征向量通过所述解码器以得到所述最终医嘱识别文本。
6.根据权利要求5所述的患者病历数据处理方法,其特征在于,将所述优化后多模态医嘱文本融合特征向量通过所述解码器以得到所述最终医嘱识别文本,包括:使用所述解码器的多个全连接层按如下解码公式对所述优化后多模态医嘱文本融合特征向量进行解码回归以获得所述最终医嘱识别文本,其中,所述解码公式为:,其中, 是所述优化后多模态医嘱文本融合特征向
量, 是所述最终医嘱识别文本, 是权重矩阵, 是偏置向量, 表示矩阵乘法,为激活函数。
7.一种患者病历数据处理系统,其特征在于,包括:
图像获取模块,用于获取医嘱文本图像;
识别理解模块,用于对所述医嘱文本图像进行文本识别和语义理解以得到医嘱文本语义编码特征向量;
图像局部字形语义分析模块,用于对所述医嘱文本图像进行图像局部字形语义分析以得到医嘱文本图像语义特征向量的序列;
多模态特征嵌入编码模块,用于对所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列进行多模态特征嵌入编码以得到多模态医嘱文本融合特征;
医嘱单生成模块,用于基于所述多模态医嘱文本融合特征,确定最终医嘱识别文本,并生成电子医嘱单;
其中,所述多模态特征嵌入编码模块,包括:将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块以得到多模态医嘱文本融合特征向量,作为所述多模态医嘱文本融合特征;
其中,将所述医嘱文本语义编码特征向量和所述医嘱文本图像语义特征向量的序列通过多模态特征嵌入模块以得到多模态医嘱文本融合特征向量作为所述多模态医嘱文本融合特征,包括:将所述医嘱文本语义编码特征向量通过基于全连接层的医嘱文本语义全连接编码器以得到医嘱文本语义全连接特征向量;
将所述医嘱文本图像语义特征向量的序列进行位置编码后排列为医嘱文本图像语义全局特征向量;
融合所述医嘱文本语义全连接特征向量和所述医嘱文本图像语义全局特征向量以得到医嘱文本全局语义多模态融合特征向量;
将所述医嘱文本图像语义特征向量的序列通过基于一维卷积层的医嘱文本图像语义关联特征提取器以得到医嘱文本图像全局语义关联特征向量;
融合所述医嘱文本全局语义多模态融合特征向量和所述医嘱文本图像全局语义关联特征向量以得到所述多模态医嘱文本融合特征向量。
8.根据权利要求7所述的患者病历数据处理系统,其特征在于,所述识别理解模块,包括:文本识别单元,用于对所述医嘱文本图像进行文本识别以得到初步医嘱识别文本;
语义编码单元,用于对所述初步医嘱识别文本进行语义编码以得到所述医嘱文本语义编码特征向量。