欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019102818455
申请人: 岭南师范学院
专利类型:发明专利
专利状态:已下证
专利领域: 控制;调节
更新日期:2024-04-18
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于LGMD的无人机仿生避障控制系统,其特征在于:包括飞行控制子系统(1)、光流传感器(2)、驱动电机(3)、嵌入式LGMD探测器(4)、摄像头(5)、无线通信模块(6)和地面站PC(7);其中:

所述光流传感器(2)、嵌入式LGMD探测器(4)均与所述飞行控制子系统(1)电性连接,进行信息交互;

所述无线通信模块(6)、驱动电机(3)均与所述飞行控制子系统(1)输出端电性连接;

所述嵌入式LGMD探测器(4)输入端与所述摄像头(5)输出端信号连接;

所述无线通信模块(6)与地面站PC(7)无线通信连接;

在所述嵌入式LGMD探测器(4)设置有LGMD神经网络,所述摄像头(5)采集的视频信息经过所述LGMD神经网络进行计算,由LGMD神经网络得到避障控制指令,输出给所述飞行控制子系统(1),实现无人机的避障控制;

所述LGMD神经网络包括P层神经元、E层神经元、I层神经元、S层神经元、G层神经元、LGMD神经元和前馈抑制FFI神经元;其中:所述P层神经元获取输入视频的视场图像信息,对帧差做出响应,得到P层神经元膜电位;

所述P层神经元膜电位直接作为所述E层神经元的兴奋膜电位;

所述I层神经元接收所述P层神经元上一帧的输出,并进行局部抑制,得到抑制膜电位;

所述S层神经元汇聚所述I层神经元对应位置领域内的输出,通过抑制膜电位对所述E层神经元进行抑制,得到S层神经元膜电位;

所述G层神经元用于增强提取复杂背景下的碰撞对象,根据S层神经元膜电位计算得到G层神经元膜电位;

所述LGMD神经元对视场图像信息进行对角分割,得到4个方位信息;根据G层神经元膜电位以及4个方位信息进行计算,得到4个方位C‑LGMD的膜电位,将4个方位C‑LGMD的膜电位相加,得到LGMD神经元膜电位;

所述前馈抑制FFI神经元直接从所述P层神经元获取视场图像信息,对LGMD神经元膜电位形成抑制,从而得到避障控制指令输出给所述飞行控制子系统(1);

当视场图像信息到达LGMD神经元时,对视场图像信息进行对角分割,获得两对角线y轴上的坐标具体表示为:

其中:Diag1,Diag2分别为两对角线对应x的y坐标;w为图像的宽度;h为图像的高度;从而得到4个方位C‑LGMD的膜电位,具体为:其中: 为滤波后的G层神经元膜电位,ULGMD,DLGMD,LLGMD,RLGMD分别为图像上、下、左、右4个方位的膜电位,以4个方位中膜电位最小的方位作为最安全的避障方向。

2.根据权利要求1所述的一种基于LGMD的无人机仿生避障控制系统,其特征在于:还包括惯性传感器,所述惯性传感器集成在所述飞行控制子系统(1)上,与飞行控制子系统(1)电性连接。

3.根据权利要求2所述的一种基于LGMD的无人机仿生避障控制系统,其特征在于:还包括激光传感器(8),所述激光传感器(8)与所述光流传感器(2)输入端电性连接。

4.一种基于LGMD的无人机仿生避障控制方法,其应用在如权利要求3所述的这一种基于LGMD的无人机仿生避障控制系统中,其特征在于:包括以下步骤:S1:通过摄像头(5)做实时视频采集,得到输入视频;

S2:嵌入式LGMD探测器(4)获取输入视频的视场图像信息,经过LGMD神经网络计算得到避障控制指令,输出给飞行控制子系统(1)实现无人机的避障控制。

5.根据权利要求4所述的一种基于LGMD的无人机仿生避障控制方法,其特征在于:所述LGMD神经网络计算避障控制指令的具体过程为:S21:P层神经元获取输入视频的视场图像信息,对帧差做出响应,得到P层神经元膜电位Pf(x,y),具体为:

Pf(x,y)=Lf(x,y)‑Lf‑1(x,y);         1)其中:f表示视频序列中的第f帧,(x,y)为像素点在网络层中的位置,Lf(x,y)为输入的视场图像的像素值;

S22:P层神经元的输出作为E层神经元、I层神经元的输入,E层神经元直接接受P层神经元输出,而I层神经元接受P层神经元上一帧的输出,并进行局部抑制,具体表示为:Ef(x,y)=Pf(x,y);                           2)If(x,y)=∑i∑jPf‑1(x+i,y+j)wj(i,j)(if i=j,j≠0); 3)其中:Ef(x,y)为兴奋膜电位,即E层神经元膜电位;If(x,y)为抑制膜电位,即I层神经元膜电位;wj(i,j)为局部抑制权重;i,j不同时为0;

S23:S层神经元汇聚I层神经元对应位置领域内的输出,通过抑制膜电位对所述E层神经元进行抑制,得到S层神经元膜电位,具体为:Sf(x,y)=Ef(x,y)‑If(x,y)WI;        5)其中:Sf(x,y)为S层神经元膜电位;WI为抑制权重矩阵;

S24:G层神经元用于增强提取复杂背景下的碰撞对象,根据S层神经元膜电位计算得到G层神经元膜电位,具体为:

其中:Gf(x,y)为G层神经元膜电位;[we]为卷积核;r为卷积核半径,r=1;

设置阈值Tde来过滤较弱的兴奋点,具体为:其中: 为滤波后的G层神经元膜电位,Cde为衰弱系数,为[0,1];Tde为过滤阈值;

S25:当视场图像信息到达LGMD神经元时,对视场图像信息进行对角分割,获得两对角线y轴上的坐标具体表示为:

其中:Diag1,Diag2分别为两对角线对应x的y坐标;w为图像的宽度;h为图像的高度;从而得到4个方位C‑LGMD的膜电位,具体为:其中:ULGMD,ULGMD,LLGMD,RLGMD分别为图像上、下、左、右4个方位的膜电位;将4个方位C‑LGMD的膜电位相加,得到LGMD神经元膜电位Kf,具体为:将Kf归一化并映射在[0,255]的范围,具体为:其中,ncell为图像总的像素点数量;

根据4个方位C‑LGMD膜电位在整幅图像所占比例,得到4个方位上映射后的膜电位,具体为:

其中, 分别为图像上、下、左、右4个方位映射后的膜电位;当Kf超过其阈值Ts,则会产生一个LGMD峰值脉冲 具体为:若连续nts脉冲不少于nsp,则判断即将发生碰撞,具体表示为:S26:所述前馈抑制FFI神经元直接从所述P层神经元获取视场图像信息,具体表示为:其中,Ff为前馈抑制FFI神经元的膜电位;TFFI为预设阈值;当Ff超过阈值TFFI,LGMD神经元膜电位立即被抑制;

S27:进行方向选择:当前馈抑制FFI膜电位Ff大于阈值TFFI,所有避障指令无效;当Cfinal=TURE,且前馈抑制FFI膜电位Ff小于阈值TFFI时,判断出现障碍物,通过比较4个方位膜电位的大小,以4个方位中膜电位最小的方位作为最安全的避障方向;

S28:飞行场景预测:当Cfinal=FALSE且前馈抑制FFI膜电位Ff小于阈值TFFI,无人机正常飞行,通过采集FFI的4个方位的膜电位,对无人机未知飞行场景进行预测;

S29:将步骤S25、S27、S28得到的信号作为避障控制信号,形成避障控制指令。

6.根据权利要求5所述的一种基于LGMD的无人机仿生避障控制方法,其特征在于:所述步骤S28飞行场景预测的过程具体为:设置场景预测阈值TFFII,当向前N帧FFI平均膜电位 小于阈值TFFII时,无人机正常飞行;当向前N帧FFI平均膜电位 大于阈值TFFII,小于阈值TFFI时,通过对比的大小,找出膜电位最小的方位,从而预测出前方场景下,未来飞行方向障碍物最少的方位;

其中,向前N帧FFI平均膜电位 具体表示为:

4个方位中膜电位平均值 分别表示为:式中, 表示FFI上、下、左、右4个方位中前N帧膜电位平均值。