1.一种采用残差卷积神经网络和长短期记忆分类群养猪饮水和玩耍饮水器的分析方法,其特征在于,包含以下步骤:步骤1,获取俯视状态下群养猪视频,从视频中挑选饮水片段和玩耍饮水器片段并保持数据平衡;步骤2,采用残差卷积神经网络提取这些片段中每一帧的空间特征;步骤3,采用长短期记忆将这些空间特征转化成时空特征;步骤4,采用全连接层和Softmax函数分类时空特征从而分类饮水和玩耍饮水器;步骤5,统计所检测饮水和玩耍饮水器的持续时间和发生频率作为猪健康和福利的评价指标;
所述步骤3的具体过程为:
根据视频序列中饮水猪保持几乎静止的姿态而玩耍饮水器猪的嘴部绕着饮水器进行咀嚼和闻嗅的特点,采用长短期记忆网络提取饮水和玩耍饮水器过程中的时空特征用来分类这两种行为,将每一帧的空间特征乘以相应权重得到长短期记忆网络的4个输入控制信号z,zi,zo和zf;将这4个输入控制信号通过长短期记忆网络的输入门、输出门、忘记门和记t忆单元得到每一帧对应的一个输出y ;由于帧率为30fps,将视频片段中所有帧对应的输出
1 2 60
作为一个列向量[y ,y ,…,y ],将此列向量作为长短期记忆所提取的时空特征;
具体方法是:(1)根据视频序列中饮水猪保持几乎静止的姿态而玩耍饮水器猪的嘴部绕着饮水器进行咀嚼和闻嗅的特点,采用长短期记忆网络提取饮水和玩耍饮水器过程中的时空特征用来分类这两种行为,将每一帧的空间特征乘以相应权重得到长短期记忆网络的
4个输入控制信号z,zi,zo和zf;
(2)将这4个输入控制信号通过长短期记忆网络的输入门、输出门、忘记门和记忆单元t得到每一帧对应的一个输出y,将长短期记忆网络LSTM考虑成一个有4输入1输出的特殊神经元;z,zi,zo和zf是LSTM的控制信号;这4个信号通过输入门、输出门和忘记门,得到输出t t ty ;此过程中产生的记忆单元c 和h 被带入下一个LSTM,使得LSTM具有记忆功能,t=1,
2,…,60;其中,z的激活函数g为区间[‑1,1]的tanh函数,zi,zo和zf的激活函数f为区间[0,t t t
1]的Sigmoid函数,记忆单元cell的激活函数h为区间[‑1,1]的tanh函数;c、h 和y的计算公式如式(1):在第1帧中,对应的25088维向量[x1,x2,…,x25088]乘以权重得到LSTM的控制信号z,zi,
1 1
zo和zf,通过LSTM得到输出y1和记忆单元c和h ,在第2帧中,采用获取的另一组100352维向量[x1,x2,…,x25088]乘以权重得到LSTM的控制信号z,zi,zo和zf,通过LSTM得到输出y2和记忆
2 2 1 1 2 2
单元c和h;其中,第1帧中的记忆单元c和h被带入第2个LSTM,决定了第2帧中的c和h ,依
1 2 60
次采用此方法,得到60帧对应的60维向量[y ,y ,…,y ]作为60个LSTM的总输出;
1 2 60
(3)由于帧率为30fps,将视频片段中所有帧对应的输出列向量[y ,y ,…,y ]作为长短期记忆所提取的时空特征。
2.根据权利要求1所述的一种采用残差卷积神经网络和长短期记忆分类群养猪饮水和玩耍饮水器的分析方法,其特征在于,所述步骤1具体包括:首先改建实验用猪舍,在猪舍正上方安装拍摄俯视视频的图像采集系统,获取包含猪饮水和玩耍饮水器的视频,然后从这些视频中挑选出饮水和玩耍饮水器片段,并保持数据平衡。
3.根据权利要求2所述的一种采用残差卷积神经网络和长短期记忆分类群养猪饮水和玩耍饮水器的分析方法,其特征在于,所述视频中挑选出饮水和玩耍饮水器片段,并保持数据平衡的具体方法是:根据饮水持续最小时间为2秒,从获取的所有视频中挑选出所有饮水2秒片段和玩耍饮水器2秒片段,并统计所有饮水和玩耍饮水器片段的数量;根据实际的饮水片段和玩耍饮水器片段的比例,采用水平镜像,垂直镜像和对角镜像保持饮水片段和玩耍饮水器片段的数量一致;由于饮水和玩耍饮水器的运动差异主要集中在猪头部且猪体间可能存在粘连和重叠,将原始视频进一步定位到猪头部运动区域,从而产生新的饮水和玩耍饮水器片段。
4.根据权利要求1所述的一种采用残差卷积神经网络和长短期记忆分类群养猪饮水和玩耍饮水器的分析方法,其特征在于,所述步骤2的具体过程为:由于在单帧中饮水和玩耍饮水器具有相似的姿态,即头部和饮水器的距离都很近,为了最大获取较大区分度的空间特征,采用较深的残差卷积神经网络ResNet50将这些片段中每一帧转化成2048维7×7像素的特征图;将每一帧对应的所有特征图中的灰度值拉直成
100352维列向量[x1,x2,…,x100352],并将此列向量作为残差卷积神经网络所提取的空间特征。
5.根据权利要求1所述的一种采用残差卷积神经网络和长短期记忆分类群养猪饮水和玩耍饮水器的分析方法,其特征在于,所述步骤4的具体过程为:步骤4.1,采用全连接层对片段的时空特征进行分类得到一个2维向量;
步骤4.2,采用Softmax函数将此2维向量转化成表示饮水的向量[1,0]和表示玩耍饮水器的向量[0,1]。
6.根据权利要求1所述的一种采用残差卷积神经网络和长短期记忆分类群养猪饮水和玩耍饮水器的分析方法,其特征在于,所述步骤5的具体过程为:步骤5.1,对所检测饮水片段和玩耍饮水器片段的数量进行统计;
步骤5.2,由于饮水和玩耍饮水器的持续时间和发生频率与猪健康和福利紧密相关,采用饮水和玩耍饮水器片段数量计算饮水和玩耍饮水器的持续时间和发生频率。