1.用于楼宇火灾消防的特种机器人协同辅助救援控制方法,所述方法基于配置多个可移动的楼宇消防机器人,所述楼宇消防机器人背部搭载一台四旋翼无人机,且至少配置有激光雷达、深度相机A;所述四旋翼无人机配置有深度相机B、红外线检测器;其特征在于所述方法包括以下步骤:步骤(1):在每栋楼宇配备多个楼宇消防机器人和烟雾传感器,所述楼宇消防机器人进行定时巡逻;每栋楼宇通过特种机器人的激光雷达、深度相机A构建一张包含当前楼宇场地语义信息的复合语义‑栅格地图;
步骤(2):通过四旋翼无人机搜寻疑似火源,并判断真实火源的可燃物类别,同时获取真实火源坐标,具体是:
2‑1当楼宇中某楼层的烟雾传感器发出警报,控制中心下达指令,派出四旋翼无人机;
2‑2四旋翼无人机飞至报警的楼层,对每个房间进行巡逻搜查疑似火源,并判断是否为真实火灾;具体是:
2‑2‑1四旋翼无人机悬停时深度相机B获取疑似火源区域的红外视频流和可见光视频流,通过背景差分法判断是否存在疑似火源区域,若无则结束,反之则执行步骤2‑2‑2;
2‑2‑2对疑似火源区域的红外视频流进行真实火源判定;具体是:
2‑2‑2‑1采用Otsu阈值分割的前景提取算法分割疑似火源区域;
2‑2‑2‑2对疑似火源区域进行火源粗糙度、质心位移提取、圆形度、矩形度、偏心率、面积变化率、Hu矩特征提取,具体是:(1)火焰粗糙度FR定义为:
其中L为疑似火源区域的周长;LTH为疑似火源区域凸包的周长,该凸包代表包罗疑似火源面积且面积最小的多边形;
(2)火源质心位置的提取,疑似火源区域由中心至边缘,其亮度逐渐变低,根据这一特征可求出质心位置,若火源图像为I(x,y),那么疑似火源区域的中心(x0,y0)为:根据相邻两帧的图像I1(x,y),I2(x,y),根据公式(2)得到火源中心(x0,1,y0,1)和(x0,2,y0,2),进一步根据公式(3)得到质心位移D为:(3)圆形度C的计算公式如下:
其中A为疑似火源区域的面积,L为疑似火源的周长;
(4)矩形度R的计算公式如下:
其中SR为疑似火源区域最小外接矩形的面积,A为疑似火源区域的面积;
(5)偏心率T的计算公式如下:
其中W为疑似火源区域宽度,H为疑似火源区域高度;
(6)面积变化率α的计算公式如下:
其中Ai+1和Ai为前后两帧中疑似火源区域的面积;
(7)Hu矩的(p+q)阶不变矩mp,q、(p+q)阶中心矩μp,q和归一化中心矩ηp,q计算公式如下:其中M和N为数字图像I(x,y)内X,Y轴向图像大小, 为矩心;m10表示一阶不变矩,m00表示0阶不变矩;
Hu矩是ηp,q的线性组合,Hu矩的定义如下:
Hu1=η20+η02 公式(12)其中η20,η02均表示二阶归一化中心矩;
2‑2‑2‑3将红外视频流中图像提取的所有特征,将所有特征经过归一化处理后输入至红外视频火灾识别分类器SVM,判断是否为真实火灾,若识别结果为真实火灾,则输出1,反之则输出0;
2‑2‑3对疑似火源区域的可见光视频流进行真实火源判定;
2‑2‑4采用融合火焰识别算法对步骤2‑2‑2至2‑2‑3识别结果进行融合,如果两者识别结果均为0,则判定为非火灾,如果两者识别结果都为1,则判定为真实火灾,则进行步骤2‑
3;如果两者仅有一个为1,再判定红外视频流中图像的温度是否上升,若升高,为真实火灾,则进行步骤2‑3,反之为非火灾;
2‑3通过四旋翼无人机的红外线检测器检测真实火焰的火焰闪烁频率,根据火焰闪烁频率特征和火焰周边的物体识别判断可燃物类别,若为电器起火,则控制中心发布指令给楼宇消防机器人采用干粉灭火,若为木材起火,则控制中心发布指令给楼宇消防机器人采用水来灭火;
2‑4计算出当前火灾的火源位置,并在复合语义‑栅格地图中对当前火灾进行语义标注;
步骤(3):对火势评级,将复合语义‑栅格地图下标注出火灾语义信息发送给楼宇消防机器人;楼宇消防机器人到火灾点;
步骤(4):获取火源可能扩张区域,构建评价凸包函数对火源可能扩张区域进行评价;
步骤(5):四旋翼无人机控制器通过粒子滤波的方法对周围物体进行三个周期的温度预测,若该物体在一个周期之后会着火,则派离该物体最近的楼宇消防机器人对其进行一周期的喷水降温;
步骤(6):调控所有待执行的楼宇消防机器人在火源附近的分布位置;具体是:若步骤4‑1中获取的凸包的边数F等于当前楼宇的楼宇消防机器人数目K,则将K个楼宇消防机器人分别分布在凸包每条边的中心,作为楼宇消防机器人的喷射站位目标点;
若步骤4‑1中获取的凸包的边数F小于当前楼宇的楼宇消防机器人数目K,则在K个楼宇消防机器人中选取F个,分别分布在凸包每条边的中心,作为楼宇消防机器人的喷射站位目标点;
若步骤4‑1中获取的凸包的边数F大于当前楼宇的楼宇消防机器人数目K,则判断凸包是否存在至少两条能够相交的边,若存在则选取凸包的两条能够相交的边进行延长构成新凸包,重复上述操作,直至新凸包的边数目等于K,然后将K个楼宇消防机器人分别分布在新凸包每条边的中心,作为楼宇消防机器人的喷射站位目标点;若不存在则构建最小外接圆,将K个楼宇消防机器人分别等距分布在该最小外接圆的边上;
步骤(7):调控所有待执行的楼宇消防机器人的喷射方向并进行灭火。
2.根据权利要求1所述方法,其特征在于步骤(1)所述的场地语义信息包括场地可通行区域、通道危险性、进出口、障碍物。
3.根据权利要求1所述方法,其特征在于步骤2‑2‑3具体是:对疑似火源区域的可见光视频流采用SSD_MobileNetV3模型对疑似火源进行识别,判断是否为真实火灾,若识别结果为真实火灾,则输出1,反之则输出0。
4.根据权利要求1所述方法,其特征在于步骤2‑3所述根据火焰闪烁频率特征和火焰周边的物体识别判断可燃物类别具体是:通过四旋翼无人机上的红外线检测器获取火焰闪烁频谱,然后将其与事先存储在四旋翼无人机数据库的带标签的火焰闪烁频谱进行比对,找到最相近的k个火焰闪烁频谱,k≥
1,进而初步判断可燃物类别;再利用yolov3目标识别算法对火焰周边的物体进行识别,根据周边物体类别在k个类别中获取最终可燃物类别。
5.根据权利要求1所述方法,其特征在于步骤2‑4具体是:
2‑4‑1计算世界坐标系下的四旋翼无人机的位姿为Twr,其中x1、y1、z1为四旋翼无人机在世界坐标系下的笛卡尔坐标,X'、Y'、Z'表示四旋翼无人机所在的笛卡尔坐标系,X、Y、Z表示世界坐标系下的笛卡尔坐标系,cos∠X'X为世界坐标系的X轴和四旋翼无人机坐标系X'轴的夹角;
2‑4‑2计算四旋翼无人机坐标系下的火源位姿矩阵为Prh,x2、y2、z2为火源在四旋翼无人机坐标系下的笛卡尔坐标,X”、X”、Z”表示火源所在的笛卡尔坐标系,cos∠X”X'为火源坐标系下X”轴和四旋翼无人机坐标系下X'轴的夹角;
2‑4‑3计算火源在世界坐标系的位姿矩阵为Pwh:
Pwh=Twr*Prh 公式(15)
进而根据Pwh得到火源在世界坐标系下的笛卡尔坐标x3、y3、z3;
2‑4‑4根据(x3,y3,z3)在复合语义‑栅格地图下标注出火灾语义信息。
6.根据权利要求1所述方法,其特征在于步骤(3)具体是:
3‑1四旋翼无人机控制器根据公式(17)对火源的火势进行评级,通过对火势的分析、现场周围的毁坏情况和周边物体的检测判断火势的蔓延情况,发送给后台指挥中心火情可燃物类别、火势的蔓延情况;
P=A*H*D0 公式(16)
其中P为火势评级参数,A为火势的面积,H为火势的高度,D0为周围环境毁坏系数;
3‑2后台指挥中心根据火情可燃物类别、火势蔓延情况,计算出灭火所需装备信息和执行楼宇消防机器人数量K,1≤K≤Kmax,Kmax表示当前楼宇的楼宇消防机器人总数量;然后将灭火所需装备信息发送给当前火灾所在楼宇的待执行楼宇消防机器人。
3‑3后台指挥中心根据火情可燃物类别、火势蔓延情况,实时更新火源的膨胀区域;
设定火焰膨胀区外Q的一个位姿信息作为楼宇消防机器人的初始导航点,并在复合语义‑栅格地图上显示初始导航点;
3‑4复合语义‑栅格地图实时更新所有楼宇消防机器人和四旋翼无人机的空间位置,通过A*(A‑Star)算法规划出每个执行楼宇消防机器人到达火源初始导航点的最优路径;对每个执行楼宇消防机器人的最优路径长度进行从低到高排序,选择前K个的楼宇消防机器人;
再对这K个楼宇消防机器人赋予优先级,楼宇消防机器人到火源的欧氏距离越短,优先级越高;
3‑5若多个楼宇消防机器人在运动至目标点的时候出现路径重合将要碰撞时,采用优先级仲裁的避撞策略:当发生碰撞时,优先级高的楼宇消防机器人继续前进,优先级低的楼宇消防机器人根据在原地等待、重新规划出一条新路径这两种策略的行为代价选择避让方式;
所述行为代价为避撞行为引起的路径增加量和时间增加量之和,路径增加量是指原先规划的路径长度和重新规划的路径长度的差值;时间增加量是等待策略所需的时间或重新规划出一条新路径的时间;
3‑6当楼宇消防机器人导航至初始导航点时遇到障碍物时,激光雷达获取点云信息,融合里程计信息,结合复合语义‑栅格地图,通过坐标变换融合构建新的局部地图,重新规划楼宇消防机器人的局部路径。
7.根据权利要求1所述方法,其特征在于步骤(4)具体是:
4‑1通过四旋翼无人机采集到的红外图像获知火源温度信息,根据温度阈值f获取红外图像中若干像素点作为点集,将这些点集采用Graham算法创建火源可能扩张区域的凸包;
随着灭火的不断进行,实时更新凸包形状;
4‑2若场地内存在多个凸包,则构建评价凸包函数V作为扑救顺序的评价标准,V越高则表明该凸包优先级越高;
评价凸包函数具体见公式(17):
V=Ahull∑i:1→nwi×Li 公式(17)其中wi代表第i个影响因素的权重,Ahull代表该凸包的面积,Li代表第i个影响因素的值。
8.根据权利要求1所述方法,其特征在于当楼宇消防机器人A开始使用设备灭火时,实时更新凸包的形状,重复步骤(4),并对楼宇消防机器人A进行计时;若楼宇消防机器人A在某一个目标点灭火时间超过t0,则楼宇消防机器人A相邻的楼宇消防机器人B和楼宇消防机器人C靠近楼宇消防机器人A,帮助楼宇消防机器人A灭火直到楼宇消防机器人A的喷射站位目标点改变,楼宇消防机器人A重新计时;楼宇消防机器人B和楼宇消防机器人C回到其原有的位置上。