1.一种基于笔画和部首分解的零样本汉字识别方法,其特征在于:包括下列步骤:
步骤一、建立包含笔画模块和部首模块的训练模型,通过训练模型能获得笔画特征、部首特征、笔画编码和部首编码;
训练模型分为两条模块,一条模块是笔画模块,另一条是部首模块,每条模块都是由编码器和解码器构成,编码器包括2个卷积层,1个最大池化层和16个残差模块;解码器使用的是transformer的原始解码器,由三个部分组成,包括掩蔽式多头注意模块、多头注意模块和前馈模块;
步骤二、将样本图片输入训练模型进行训练;
所述步骤二具体包括:所述笔画模块和所述部首模块均由编码器和解码器构成,输入图片后训练模型一方面将输入的图片放入笔画模块的笔画编码器中得到笔画特征Fs,再将笔画特征Fs放入笔画模块的笔画解码器中进行解码得到预测的笔画编码Ps;另一方面对于部首模块,将输入的图片放入部首模块的部首编码器中得到部首特征Fr,再将部首特征Fr放入部首模块的部首解码器中进行解码得到预测的部首编码Pr;训练中对笔画特征Fs和部首特征Fr进行了余弦距离的损失计算,对预测的笔画编码Ps和部首编码Pr分别与他们对应的真实标签进行了交叉熵的损失计算,通过余弦距离损失和交叉熵损失对模型进行优化;
采用余弦距离损失对模型进行优化的公式如下:
其中,T表示笔画特征Fs的转置,*和×均表示点乘;
真实标签为T0是编码标签长度,p(Gt)是指时间步长t处类别Gt的概率,采用交叉熵损失对模型进行优化的公式如下:在本模型中,根据笔画编码Ps的真实标签和部首编码Pr的真实标签Gst和Grt中的t均表示时间步长t处,T0是编码标签长度即编码中t的最大值,因此相应交叉熵损失对模型进行优化的公式分别为:步骤三、将待识别图片放入已经训练好的模型中,得到模型预测出的笔画编码和笔画特征后对预测的编码做出判断,判断结果存在唯一对应的汉字时将该汉字作为最终输出结果;否则经笔画修订后,通过将该笔画编码对应的多个汉字的支持样本与之前获得的笔画特征进行笔画特征的匹配确定最终输出结果。
2.根据权利要求1所述的一种基于笔画和部首分解的零样本汉字识别方法,其特征在于:所述步骤三具体包括:通过将待识别图片放入已经训练好的模型中,得到模型预测出的笔画编码Pst和笔画特征Fs