1.基于类内类间相关性的YOLOv5神经网络改进方法,其特征在于,包括以下步骤:根据预测框获得目标光谱信息和目标梯度信息;
利用全连接网络从目标光谱信息和目标梯度信息中抽象目标本质特征并将其表示为一个向量,即每一类由一个向量表示;
通过计算两个向量之间的距离测度表征不同目标特征之间的差异;
结合YOLOv5损失函数,构建基于类内类间测度差异的损失函数训练网络模型,迫使网络学习能够学习有利于区分不同目标的普适性特征;
对向量进行比较包括类内差异和类间差异;
计算类内差异的方法为:计算两次迭代的向量的距离测度即可得到不同图像同一目标的类内差异;
计算类间差异的方法为:对存在同类目标的差异的迭代中,将当前类与之前迭代所保存下来的所有其他类的向量计算距离测度即可表征不同目标特征之间的差异;
获得类内类间差异的计算公式为余弦相似度Sa,b:
其中,在某一次迭代中某一类出现了新向量,在计算类内差异中,该次迭代的新向量为公式(1)的A,B为之前迭代生成的与A同类的旧向量;计算类间差异中,该次迭代的存在类内差异的新向量为公式(1)的A,B为之前迭代所保存下来的所有其他类的向量;
基于目标信息的损失函数的表达式为:
其中,以及为用公式(1)计算得到的类内类间差异,为类内差异,为类间差异,a为某一次迭代中某一类的新向量,a0为之前迭代生成的与a同类的旧向量,bm为之前迭代所保存下来的所有其他类的向量,n为之前迭代所保存下来的所有其他类的向量的个数,j为某次迭代中所计算出的新向量中的种类,与之前计算的旧向量中的种类相同的个数;
将所述基于目标信息的损失函数与YOLOv5神经网络自身的二元交叉熵损失函数和CIOU损失函数相结合的方法为:loss=LYOLOv5+λLintra-inter其中,λ是调节参数;
获得目标光谱信息的方法为:
YOLOv5神经网络经过训练能够得到三组不同尺寸的特征图,将这三组尺寸的特征图通过上采样拼到一起得到一组特征图,再经过卷积得到期望的特征图,将预测框转换到特征图的尺寸后放到特征图上,对预测框内的数据做均值和方差得到光谱信息;
获得目标梯度信息的方法为:
取得输入图像,对输入图像进行梯度计算得到包含梯度信息的图;取得网络训练得到的预测框,将预测框放到包含梯度信息的图上,对预测框内的数据做均值和方差计算得到目标梯度信息;
将每次迭代的向量都保存下来,每一类只保存一个向量,当有同类的新向量出现时,与该类的旧向量取均值在保存下来,用于后续计算类内类间差异使用;
在网络原损失函数的基础上加入基于类内类间相关性的损失函数来约束。