欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202010159004X
申请人: 杭州桐沐技术成果转化服务有限公司
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于相似度的医学短文本数据负样例采样方法,其特征在于:其包括以下步骤:S1.基于标准术语集和待映射文本集合生成正样例集合;

S2.对于正样例集合中的任意正样例,基于相似度计算函数生成候选负样例集合,该候选负样例集合用于医学诊断标准术语映射模型训练。

2.根据权利要求1所述的基于相似度的医学短文本数据负样例采样方法,其特征在于:其包括以下步骤:

S1.对于标准术语集为S、待映射文本集合T,生成正样例集合{pi=(xi,yi)},其中xi∈T,yi={yik|yik∈S},xi为待映射文本,yi={yik|yik∈S}为对应的正确标准术语集合;

S2.对于任意正样例pi=(xi,yi),基于相似度计算函数生成候选负样例集合为与yi类似的错误术语。

3.根据权利要求2所述的医学短文本数据负样例采样方法,其特征在于:为相似度计算函数,θ取0.5;所述的

其中, 包括编辑距离、基于tf-idf的余弦相似度、

杰卡德相似系数文本差异三个参数,βl使用10折交叉验证来确定。

4.根据权利要求1所述的基于相似度的医学短文本数据负样例采样方法,其特征在于:其包括以下步骤:

S1.对于标准术语集为S、待映射文本集合T,先生成扩展术语集合G={S,E},E为标准术语之间的从属关系结合,再生成正样例集合进一步生成扩展正样例

集{pik=(xi,yik,sik)},其中sik为(xi,yik)之间的相似度评级,该相似度评级完全基于知识图谱结构sik=simg(yik,yil),sik=1/min(|eik|);

S2.对于任意正样例pi=(xi,yi,si),基于相似度计算函数生成候选负样例集合为与yi类似的错误术语。

5.一种医学诊断标准术语映射模型训练方法,其特征在于:其包括以下步骤:

1)基于原始医学诊断数据得到待映射文本,进而生成训练集Ptrain,验证集Peval,测试集Ptest;

2)基于标准术语集和待映射文本集合生成正样例集合;

3)对于正样例集合中的任意正样例,基于相似度计算函数生成候选负样例集合;

4)获取正样例集合的一个子集,对于其中的每个正样例,从候选负样例集合中抽取部分或全部负样例生成训练数据集,将正样例集合的子集与训练数据集合并后形成一个训练批次;

5)将训练批次带入神经网络模型中进行训练。

6.根据权利要求5所述的医学诊断标准术语映射模型训练方法,其特征在于:步骤1)包括:将原始医学诊断数据进行文本预处理得到待映射文本集合T;将T经过人工切分得到切分诊断数据集合T′;人工标注切分诊断数据集合T′得到标注数据集合P′,T′和P′一一对应;

根据待映射文本集合T与标注数据集合P′的映射关系得到映射文本集合P;分别按照一定比例分割P和P′生成训练集Ptrain、验证集Peval、测试集Ptest和训练集P′train,验证集P′eval和测试集P′test;分别对训练集P′train,验证集P′eval和测试集P′test随机排列组合生成排列组合训练集 验证集 测试集 并合并到训练集Ptrain、验证集Peval和测试集Ptest中。

7.根据权利要求6所述的医学诊断标准术语映射模型训练方法,其特征在于:步骤1)包括下述具体步骤:

1.1)将原始医学诊断数据进行文本预处理得到待映射文本集合T,所述文本预处理包括:统一中文符号和特殊符号为标准英文符号、去除无用符号和短语、中文数字转阿拉伯数字及将表示范围的数字补充完整;

1.2)将T经过人工切分得到切分诊断数据集合T′,人工标注切分诊断数据集合T′得到标注数据集合P′,T′和P′一一对应;

1.3)根据待映射文本集合T与标注数据集合P′的映射关系生成映射文本集合P,将映射文本集合P按照8:1:1的比例拆分成训练集Ptrain、验证集Peval和测试集Ptest;

1.4)将标注数据集合P′按照8:1:1的比例拆分成训练集P′train,验证集P′eval和测试集P′test,分别随机排列组合若干标注数据并组合为一条数据,得到训练集 验证集测试集

1.5)将训练集 验证集 测试集 分别合并到训练集Ptrain、验证集Peval和测试集Ptest中,得到训练集Ptrain,验证集Peval,测试集Ptest。

8.根据权利要求5所述的医学诊断标准术语映射模型训练方法,其特征在于:步骤2)包括:对于标准术语集为S、待映射文本集合T,生成正样例集合{pi=(xi,yi)},其中xi∈T,yi={yik|yik∈S},xi为待映射文本,yi={yik|yik∈S}为对应的正确标准术语集合;

步骤3)包括:对于任意正样例pi=(xi,yi),基于相似度计算函数生成候选负样例集合为与yi类似的错误术语;

步骤4)包括:获取一个批次的正样例子集P={pi=(xi,yi)},对于训练集Ptrain的每个正样例,从候选负样例集合中抽取部分负样例生成训练数据集N,抽取负样例时采用随机选择器g(pik,ni),即 将正负样例集合合并形成一个用于数据模型训练的训练批次batch=P∪N;对于验证集Peval的每个正样例,从候选负样例集合中抽取全部负样例生成训练数据集N,将正负样例集合合并形成一个用于数据模型训练的训练批次batch=P∪N;

步骤5)包括:将训练集Ptrain,验证集Peval中的训练批次带入神经网络模型中进行训练,神经网络模型中的损失函数为ΣikL(xi,yik)。

9.根据权利要求7所述的医学诊断标准术语映射模型训练方法,其特征在于:步骤3)中, 为相似度计算函数,θ取0.5。

10.一种医学诊断标准术语映射模型训练方法,其特征在于:其包括以下步骤:

1)将原始医学诊断数据进行文本预处理得到待映射文本集合T;将T经过人工切分得到切分诊断数据集合T′,人工标注切分诊断数据集合T′得到标注数据集合P′,T′和P′一一对应;根据待映射文本集合T与标注数据集合P′的映射关系得到映射文本集合P;分别按照一定比例分割P和P′生成训练集Ptrain、验证集Peval、测试集Ptest和训练集P′train,验证集P′eval和测试集P′test;分别对训练集P′train,验证集P′eval和测试集P′test随机排列组合生成排列组合训练集 验证集 测试集 并合并到训练集Ptrain、验证集Peval和测试集Ptest中;

2)对于标准术语集为S、待映射文本集合T,先生成扩展术语集合G={S,E},E为标准术语之间的从属关系结合,再生成正样例集合进一步生成扩展正样例

集{pik=(xi,yik,sik)},其中sik为(xi,yik)之间的相似度评级,该相似度评级完全基于知识图谱结构sik=simg(yik,yil),sik=1/min(|eik|);

3)对于任意正样例pi=(xi,yi,si),基于相似度计算函数生成候选负样例集合为与yi类似的错误术语;

4)获取一个批次的正样例子集P={pi=(xi,yi,si)},对于训练集Ptrain的每个正样例,从候选负样例集合中抽取部分负样例生成训练数据集N,抽取负样例时采用随机选择器g(pik,ni),即 将正负样例集合合并形成一个用于数据模型训练的训练批次batch=P∪N;对于验证集Pecal中的每个正样例,从候选负样例集合中抽取全部负样例生成训练数据集N,将正负样例集合合并形成一个用于数据模型训练的训练批次batch=P∪N;

5)将训练集Ptrain,验证集Peval中的训练批次带入神经网络模型中进行训练,神经网络模型中的损失函数为ΣiksikL(xi,yik)。