1.一种联合自动数据增广和损失函数搜索的行人检测方法,其特征在于,包括以下步骤:S1,学习阶段:
S1‑1:建立神经网络模型,构建训练集和验证集,所述训练集和验证集包括带有标注信息的行人图像样本库;
S1‑2:构造增广策略和损失函数的搜索空间并参数化;
S1‑3:利用双层循环优化方案训练神经网络模型;
S2,测试阶段:
S2‑1:利用步骤S1‑1中的验证集对学习后的神经网络模型进行测试,计算正确率,若符合要求进入应用阶段,否则按照实际结果调整神经网络模型,并返回步骤S1‑3;
S3,应用阶段:
S3‑1:从视频序列中获取行人图像并输入到训练好的神经网络模型中,依靠训练好的神经网络模型精准定位行人的位置;
所述步骤S1‑2包括如下步骤:
A1:使用增广操作构造增广策略的搜索空间并参数化表示;所述增广操作包括模拟遮挡操作、强度和色彩操作以及几何操作,所述模拟遮挡操作包括类内遮挡和类间遮挡;
A2:构造损失函数的搜索空间并参数化表示;所述损失函数包括分类损失函数和方框回归损失函数,损失函数记为L,分类损失函数记为Lcls,方框回归损失函数记为Lreg;
所述步骤S1‑3包括如下步骤:
B1:输入原始的训练集;
B2:利用重要性采样,从增广策略的搜索空间中采样增广策略,从损失函数的搜索空间中采样损失函数;
B3:将采样到的增广策略应用在输入的训练集上,得到增广后的数据集;将采样的损失函数传给N个并行的神经网络模型;
B4:内层循环优化,通过梯度下降法使N个并行的神经网络模型的损失最小化;训练完i成后得到N个并行神经网络模型的奖励R (Mw;Dval),选出获得奖励最大的神经网络模型,并将该神经网络模型的参数传递给N个并行神经网络模型用于下一次循环的训练;
i
B5:外层循环优化,在步骤B4中得到了多个并行的神经网络模型的奖励R (Mw;Dval),用所述奖励优化数据增广策略和损失函数的超参数,并利用数据增广策略概率分布和损失函数概率分布使奖励最大化;
B6:在完成一次内层循环优化和外层循环优化后,重复执行步骤B2‑B5直至神经网络模型收敛或循环达到设定的最大循环次数Tmax。
2.根据权利要求1所述的一种联合自动数据增广和损失函数搜索的行人检测方法,其特征在于,步骤A1中,所述模拟遮挡操作包括:A1‑1,使用边框标定图像中的行人位置,将此边框记为真实边框,A1‑2,在真实边框中使用边框标定行人的头部,将此边框记为头部边界框,将头部边界框的宽度和高度分别记为w和h,A1‑3,使用宽度为w高度为2.5h的边框分别标定步骤A1‑2中行人的左上身和右上身,使用宽度为w高度为3.5h的边框分别标定步骤A1‑2中行人的左腿和右腿;左上身、右上身、左腿和右腿的标定边框分别由0到3的索引表示;
A1‑4,使用索引法取步骤A1‑3中的标定边框,然后用图像的均值进行遮挡。
3.根据权利要求1所述的一种联合自动数据增广和损失函数搜索的行人检测方法,其特征在于,步骤A1中,将选定的增广操作两两排列组合得到增广策略,并组成所述增广策略的搜索空间,利用归一化的sigmoid函数将每个操作的执行概率pθ(Oi)表示为:其中,Oi是从候选的增广操作中采样的第i个操作,θi为第i个操作的参数。
4.根据权利要求1所述的一种联合自动数据增广和损失函数搜索的行人检测方法,其特征在于,步骤A2中所述损失函数L的计算公式为:L=η1·Lcls+η2·Lreg (2)
其中,η1为Lcls的权重,η2为Lreg的权重,η1、η2的取值范围为(0,1]。
5.根据权利要求1所述的一种联合自动数据增广和损失函数搜索的行人检测方法,其特征在于,所述分类损失函数Lcls,其表达式为:γ γ
Lcls(p)=‑(y(1p) log(p)+p (1‑y)log(1‑p)) (3)其中,p为网络预测的正概率,y为输入图像的标签值,γ为需要搜索的超参数,γ的范围为[0,5]。
6.根据权利要求1所述的一种联合自动数据增广和损失函数搜索的行人检测方法,其特征在于,所述方框回归损失函数Lreg包括拉项损失Lpull和推项损失Lpush,公式为:Lreg=λ1Lpull+λ2Lpush(4)
其中,λ1为拉项损失Lpull的权重,λ2为推项损失Lpush的权重;
所述拉项损失Lpull的表达式为:
其中,P={px,py,pw,ph},G={gx,gy,gw,gh},P和G分别表示预测方框和真实方框,px,py和gx,gy分别为预测方框和真实方框的左上角坐标,pw,ph和gw,gh分别为预测方框和真实方框的宽和高,α1,α2,α3为权重,α1,α2,α3的取值范围为[0,1]。
7.根据权利要求6所述的一种联合自动数据增广和损失函数搜索的行人检测方法,其特征在于,所述推项损失Lpush的表达式为:其中,d(x)=(1‑x),1表示恒等函数, ε是防止除数为0的小常数;Pi为第i个预测方框,Gi为Pi对应的真实方框,Gj为第j个真实方框。
8.根据权利要求1所述的一种联合自动数据增广和损失函数搜索的行人检测方法,其特征在于,所述步骤B5中数据增广策略的梯度估计式为:其中, θ为增广操作的参数,τ为采样的增广操作和损失函数,I为内层循环的迭代次数,B为训练过程中,每次迭代输入网络图像的数量,Oj是从候选的增广操作中采样的第j个操作,θold为旧策略的参数,Ri为第i次采样轨迹的奖励;
所述步骤B5中损失函数的梯度估计式为:
2
其中, 为高斯分布的概率密度函数,μk,σ分别为服从高斯分布的损失函数搜索空间的均值和方差。