1.一种基于互联网的患者护理智能随访系统,其特征在于,包括:患者信息获取模块,用于获取患者复健锻炼视频以及患者病情信息,其中,所述患者病情信息包括患者病历的文本描述和患者身体情况自述的文本描述;
患者复健锻炼语义特征提取模块,用于提取所述患者复健锻炼视频的锻炼动作语义特征以得到患者复健锻炼动作语义特征向量;
患者病情信息语义理解模块,用于对所述患者病情信息进行语义编码以得到患者病情语义特征向量;
跨模态融合模块,用于融合所述患者病情语义特征向量和所述患者复健锻炼动作语义特征向量以得到患者病情康复语义特征向量;
患者运动锻炼指导模块,用于基于所述患者病情康复语义特征向量,生成患者运动锻炼指导建议;
其中,所述患者运动锻炼指导模块,包括:
特征分布优化单元,用于计算所述患者病情康复语义特征向量的基于类概率的等效强度表征以得到优化患者病情康复语义特征向量;
分类单元,用于将所述优化患者病情康复语义特征向量通过基于分类器的康复锻炼指导方案生成器以得到患者运动锻炼指导建议,其中,所述患者运动锻炼指导建议包括锻炼项目及其锻炼频率;
其中,所述特征分布优化单元,包括:
预分类子单元,用于使用训练完成的预分类模型对所述患者病情康复语义特征向量进行分类回归以得到类概率特征向量;
等效强度计算子单元,用于计算所述类概率特征向量中各个位置的类概率值的倒数作为等效强度值以得到类概率等效强度表征特征向量;
等效强度施加子单元,用于以所述类概率等效强度表征特征向量中各个位置的特征值作为系数分别乘以所述类概率特征向量以得到等效强度表征分类特征向量的序列;
优化子单元,用于将所述等效强度表征分类特征向量的序列输入基于RNN模型的优化编码器以得到所述优化患者病情康复语义特征向量。
2.根据权利要求1所述的基于互联网的患者护理智能随访系统,其特征在于,所述患者复健锻炼语义特征提取模块,包括:视频切分单元,用于对所述患者复健锻炼视频进行视频切分以得到局部患者复健锻炼视频的序列;
局部语义特征提取单元,用于分别对所述局部患者复健锻炼视频的序列中的各个局部患者复健锻炼视频进行锻炼动作语义特征提取以得到局部患者复健锻炼动作语义特征向量的序列;
锻炼动作语义特征融合单元,用于将所述局部患者复健锻炼动作语义特征向量的序列中的各个局部患者复健锻炼动作语义特征向量进行级联融合以得到所述患者复健锻炼动作语义特征向量。
3.根据权利要求2所述的基于互联网的患者护理智能随访系统,其特征在于,所述局部语义特征提取单元,用于:将所述局部患者复健锻炼视频的序列通过基于三维卷积神经网络模型的锻炼动作语义特征提取器以得到所述局部患者复健锻炼动作语义特征向量的序列。
4.根据权利要求3所述的基于互联网的患者护理智能随访系统,其特征在于,所述基于三维卷积神经网络模型的锻炼动作语义特征提取器包括输入层、三维卷积层、基于ReLU激活函数的激活层、池化层和输出层。
5.根据权利要求4所述的基于互联网的患者护理智能随访系统,其特征在于,所述患者病情信息语义理解模块,用于:将所述患者病情信息通过基于转换器的患者病情语义理解器以得到所述患者病情语义特征向量。
6.根据权利要求5所述的基于互联网的患者护理智能随访系统,其特征在于,所述患者病情信息语义理解模块,包括:分词单元,用于对所述患者病情信息进行分词处理以得到病情信息词的序列;
词嵌入编码单元,用于使用所述患者病情语义理解器的词嵌入层分别对所述病情信息词的序列中各个病情信息词进行词嵌入编码以得到病情信息词嵌入向量的序列;
语义编码单元,用于使用所述患者病情语义理解器的转换器模块对所述病情信息词嵌入向量的序列进行基于全局的语义编码以得到所述患者病情语义特征向量。
7.根据权利要求6所述的基于互联网的患者护理智能随访系统,其特征在于,所述等效强度计算子单元,用于:创建一个切面类,用于定义切面逻辑;
在Spring的配置文件中启用AOP支持;
创建一个服务类,所述服务类中包含计算所述类概率特征向量中各个位置的类概率值的倒数作为等效强度值以得到类概率等效强度表征特征向量的计算方法;
在代码中调用所述服务类中的计算方法,触发AOP切面的逻辑。
8.一种基于互联网的患者护理智能随访方法,其特征在于,包括:获取患者复健锻炼视频以及患者病情信息,其中,所述患者病情信息包括患者病历的文本描述和患者身体情况自述的文本描述;
提取所述患者复健锻炼视频的锻炼动作语义特征以得到患者复健锻炼动作语义特征向量;
对所述患者病情信息进行语义编码以得到患者病情语义特征向量;
融合所述患者病情语义特征向量和所述患者复健锻炼动作语义特征向量以得到患者病情康复语义特征向量;
基于所述患者病情康复语义特征向量,生成患者运动锻炼指导建议;
其中,基于所述患者病情康复语义特征向量,生成患者运动锻炼指导建议,包括:计算所述患者病情康复语义特征向量的基于类概率的等效强度表征以得到优化患者病情康复语义特征向量;
将所述优化患者病情康复语义特征向量通过基于分类器的康复锻炼指导方案生成器以得到患者运动锻炼指导建议,其中,所述患者运动锻炼指导建议包括锻炼项目及其锻炼频率;
其中,计算所述患者病情康复语义特征向量的基于类概率的等效强度表征以得到优化患者病情康复语义特征向量,包括:使用训练完成的预分类模型对所述患者病情康复语义特征向量进行分类回归以得到类概率特征向量;
计算所述类概率特征向量中各个位置的类概率值的倒数作为等效强度值以得到类概率等效强度表征特征向量;
以所述类概率等效强度表征特征向量中各个位置的特征值作为系数分别乘以所述类概率特征向量以得到等效强度表征分类特征向量的序列;
优化子单元,用于将所述等效强度表征分类特征向量的序列输入基于RNN模型的优化编码器以得到所述优化患者病情康复语义特征向量。