1.一种基于多医学图像的糖尿病肾病分析方法,其特征在于,所述方法包括以下步骤:利用眼底照相的方法拍摄眼底图像,将眼底图像输入到ViT网络模型中得到眼底图像的类别标识;
将与糖尿病肾病相关的其他医学图像分别输入对应的ViT网络模型中,并获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果,根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵;根据第一特征矩阵和第二特征矩阵得到融合特征;
将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合,基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果;
所述获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果,具体为:获取其他医学图像对应的ViT网络模型中第一个多头自注意力机制中多个注意力头将 作为其他医学图像对应的ViT网络模型中第一个多头自注意力机制的多个头的合并结果;其中i为正整数,1≤i≤N,N表示第一个多头自注意力机制的头数;
获取其他医学图像对应的ViT网络模型中最后一个多头自注意力机制中多个注意力头将 作为其他医学图像对应的ViT网络模型中最后一个多头自注意力机制的多个头的合并结果;其中j为正整数,1≤j≤M,M表示最后一个多头自注意力机制的头数;其中,Concact()是指水平拼接;
所述根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵,具体为:第一特征矩阵中的第p行第q列的元素的计算方式为:
其中, 表示第一个多头自注意力机制中多个头的合并
结果中第p行第1列的元素, 表示第一个多头自注意力机制中多个头的合并结果中第p行第2列的元素, 表示第一个多头自注意力机制中多个头的合并结果中第p行第L列的元素, 表示第一个多头自注意力机制对应的权重矩阵WO中第1行第q列的元素, 表示第一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素, 表示第一个多头自注意力机制对应的权重矩阵WO中第L行第q列的元素,L表示第一个多头自注意力机制对应的权重矩阵WO的行数;
第二特征矩阵中的第p行第q列的元素的计算方式为:
其中, 表示最后一个多头自注意力机制中多个头的合
并结果中第p行第1列的元素, 表示最后一个多头自注意力机制中多个头的合并结果中第p行第2列的元素, 表示最后一个多头自注意力机制中多个头的合并结果中第p行第K列的元素, 表示第二特征矩阵对应的权重矩阵WO中第1行第q列的元素, 表示最后一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素, 表示最后一个多头自注意力机制对应的权重矩阵WO中第K行第q列的元素,K表示最后一个多头自注意力机制对应的权重矩阵WO的行数。
2.如权利要求1所述的方法,其特征在于,所述根据第一特征矩阵和第二特征矩阵得到融合特征,具体为:对第一特征矩阵进行归一化后输入到多层感知器中得到第一输出;
对第二特征矩阵进行归一化后输入到多层感知器中得到第二输出;
将第一输出和第二输出输入到多层感知器中得到融合特征。
3.如权利要求1所述的方法,其特征在于,所述将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合,具体为:将眼底图像的类别标识、其他医学图像对应的类别标识、其他医学图像对应的融合特征进行垂直方向上的拼接得到融合结果。
4.如权利要求1所述的方法,其特征在于,所述基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果,具体为:将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合的结果输入到层数为1的ViT网络模型中。
5.一种基于多医学图像的糖尿病肾病分析系统,其特征在于,所述系统包括以下模块:第一特征提取模块,用于利用眼底照相的方法拍摄眼底图像,将眼底图像输入到ViT网络模型中得到眼底图像的类别标识;
第二特征提取模块,用于将与糖尿病肾病相关的其他医学图像分别输入对应的ViT网络模型中,并获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果,根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵;根据第一特征矩阵和第二特征矩阵得到融合特征;
结果分析模块,用于将其他医学图像对应的类别标识和融合特征以及所述眼底图像的类别标识进行融合,基于多头注意力机制和多层感知器得到多医学图像的糖尿病肾病分析结果;
所述获取所述对应的ViT网络模型中第一个多头自注意力机制中多个头的合并结果和最后一个多头自注意力机制中多个头的合并结果,具体为:获取其他医学图像对应的ViT网络模型中第一个多头自注意力机制中多个注意力头将 作为其他医学图像对应的ViT网络模型中第一个多头自注意力机制的多个头的合并结果;其中i为正整数,1≤i≤N,N表示第一个多头自注意力机制的头数;
获取其他医学图像对应的ViT网络模型中最后一个多头自注意力机制中多个注意力头将 作为其他医学图像对应的ViT网络模型中最后一个多头自注意力机制的多个头的合并结果;其中j为正整数,1≤j≤M,M表示最后一个多头自注意力机制的头数;其中,Concact()是指水平拼接;
所述根据多个头的合并结果和多头自注意力机制中对应的权重矩阵WO得到第一特征矩阵和第二特征矩阵,具体为:第一特征矩阵中的第p行第q列的元素的计算方式为:
其中, 表示第一个多头自注意力机制中多个头的合并
结果中第p行第1列的元素, 表示第一个多头自注意力机制中多个头的合并结果中第p行第2列的元素, 表示第一个多头自注意力机制中多个头的合并结果中第p行第L列的元素, 表示第一个多头自注意力机制对应的权重矩阵WO中第1行第q列的元素, 表示第一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素, 表示第一个多头自注意力机制对应的权重矩阵WO中第L行第q列的元素,L表示第一个多头自注意力机制对应的权重矩阵WO的行数;
第二特征矩阵中的第p行第q列的元素的计算方式为:
其中, 表示最后一个多头自注意力机制中多个头的合
并结果中第p行第1列的元素, 表示最后一个多头自注意力机制中多个头的合并结果中第p行第2列的元素, 表示最后一个多头自注意力机制中多个头的合并结果中第p行第K列的元素, 表示第二特征矩阵对应的权重矩阵WO中第1行第q列的元素, 表示最后一个多头自注意力机制对应的权重矩阵WO中第2行第q列的元素, 表示最后一个多头自注意力机制对应的权重矩阵WO中第K行第q列的元素,K表示最后一个多头自注意力机制对应的权重矩阵WO的行数。
6.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序在被处理器执行时,实现如权利要求1‑4任一项所述的方法。