1.基于视觉与意念信号协同控制的机器人看护系统,其特征在于,包括:头戴式脑电波采集装置、Kinect相机、显示器、机械手臂、意念信号处理模块、图像处理模块、人脸鼠标控制模块和机械臂控制模块;
所述意念信号处理模块,用于实时采集看护对象的脑波信号及眨眼肌电信号,提取脑波信号中专注度值,并判断看护人员是否处于专注状态;
所述图像处理模块,用于实时采集处理RGB图像与深度图像,提取人脸关键点,识别嘴部张合状态,确定嘴部二维坐标和嘴部关键点深度;
所述人脸鼠标控制模块,对象基于鼻尖移动来控制液晶显示屏上的鼠标指针,实现所需物品的选择,并利用意念信号处理模块检测的眨眼肌电信号判定是否眨眼来物品选定;
所述机械臂控制模块,基于意念信号处理模块判定的看护人员的专注状态激活机械手臂动作并根据人脸鼠标控制模块的所选定的物品实施抓取动作,根据所述图像处理模块处理得到的嘴部二维坐标和嘴部关键点深度所确定的三维坐标将物品送至看护对象嘴巴。
2.根据权利要求1所述基于视觉与意念信号协同控制的机器人看护系统,其特征在于,所述意念信号处理模块对脑波信号采集和处理的具体步骤为:步骤S1、通过非侵入式的蓝牙头戴脑波采集设备采集看护对象的脑波信号;
步骤S2、信号校核:对采集的脑波信号进行检查校核;若信号校核不正确,舍弃该组信号;若信号校核正确,则进行步骤S3的解析;
步骤S3、数据解析:对原始数据rawdata进行解析,解析获取专注度;
步骤S4、专注度提取:将专注度信号提取出来;
步骤S5、阈值判断:若解析提取到的专注度A>60,则判断对象处于专注状态;
步骤S6、启动系统:若判断对象已处于专注状态,则将启动信号传至机械臂和人脸鼠标系统。
3.根据权利要求1所述基于视觉与意念信号协同控制的机器人看护系统,其特征在于,所述图像处理模块图像采集及处理具体包括以下步骤:步骤K1、采用Kinect相机采集看护对象脸部的RGB图像和深度图像;
步骤K2、人脸识别与关键点检测:采用基于深度学习的方法求解人脸区域、人脸辨识、人脸N点关键点;
步骤K3、嘴部张合状态检测:采用多尺度轮廓特征来分析嘴巴状态的算法,求解嘴巴开度;
步骤K4、图像坐标变换:将RGB图像中识别嘴唇的坐标通过比例变换到深度图像中;
步骤K5、提取嘴部关键点深度:利用Kinect相机的深度测距提取深度值,并于RGB图像中获取的二维坐标构成三维空间坐标;
步骤K6、卡尔曼滤波:利用卡尔曼滤波器进行滤波处理;
步骤K7、将滤波后的三维空间坐标数据传至机械臂。
4.根据权利要求1所述基于视觉与意念信号协同控制的机器人看护系统,其特征在于,所述人脸鼠标控制模块完成物品选定具体包括以下步骤:步骤N1、Kinect相机摄像头采集看护对象脸部的图像:利用液晶显示屏自带USB摄像头采集面部图像;
步骤N2、人脸识别与关键点检测:采用基于深度学习的方法,包括求解人脸区域、人脸辨识、人脸N点关键点,从中提取并定位鼻尖的特征点;
步骤N3、计算鼠标坐标:以拍摄到的图像中心点为基准,求得鼻尖识别点与中心点的相对距离,然后将相对距离放大,使其映射到整个屏幕,得出鼠标的坐标;
步骤N4、灵敏度设置:通过映射系数的大小来控制虚拟鼠标的灵敏度,实现鼻尖中点与液晶显示屏坐标点的映射;
步骤N5、鼠标移动控制:控制的实现依赖于调用Windows的API函数,由步骤N3输出的鼠标的坐标,来控制鼠标的移动;
步骤N6、确定鼠标的单击情况:根据人眼闭合情况确定,脑波头戴获取眨眼肌电信号,确定鼠标单击。
5.根据权利要求1所述基于视觉与意念信号协同控制的机器人看护系统,其特征在于,所述机械臂控制模块控制机械臂去送物品具体包括以下步骤:步骤M1、接收由意念信号处理模块传输的启动信号;
步骤M2、接收由人脸鼠标控制模块传输的所选物品的信号;
步骤M3、执行规划动作,对指定物品进行抓取;
步骤M4、接收由深度图像处理模块传输的对象的三维空间坐标;
步骤M5、机械臂坐标系变换:将相机获取的三维空间坐标变换到机械臂坐标系上;
步骤M6、机械臂运动规划:通过运动规划避免机械臂在执行动作过程中遇到障碍物;
步骤M7、在机械臂接近嘴唇时,通过末端传感器检测,避免对目标对象造成伤害。
6.根据权利要求3所述基于视觉与意念信号协同控制的机器人看护系统,其特征在于,所述步骤K3嘴部张合状态检测,具体包括以下步骤:步骤K3.1、获取步骤K2的嘴部关键点;
步骤K3.2、进行嘴部轮廓拟合;
步骤K3.3、计算轮廓最小外接矩形;
步骤K3.4、构建嘴巴开度系数N=Length/Width:Length和Width分别为最小外接矩形的长和宽;
步骤K3.5、阈值判断:通过优选当N>0.75时嘴巴为张开状态,且适用于大多数人。
7.根据权利要求3所述一种基于视觉与意念信号协同控制的机器人看护系统,其特征在于,所述步骤K6卡尔曼滤波具体包括以下步骤:步骤K6.1、获取嘴部关键点深度数据序列;
步骤K6.2、根据公式:
xk=Fkxk-1+Bkuk+ωk
计算上一时刻深度数据的估计值,其中Fk为作用于xk-1的状态变换矩阵,Bk为作用于控制器向量uk上的输入控制矩阵,ωk为过程噪声;
步骤K6.3、根据公式:
Zk=Hkxk+vk
计算当前时刻深度数据的测量值,其中Hk为观测模型,vk为观测噪声;
步骤K6.4、在获知上一时刻的估计值及当前时刻的观测值后,通过递归估计的方法,根据公式:计算当前时刻的估计值,其中 为在k时刻状态的估计,Pk|k为误差相关矩阵,用于度量估计值的精确程度,由此便可获得当前时刻优化后的预测结果xk,即滤波后的深度数据。
8.根据权利要求1所述一种基于视觉与意念信号协同控制的机器人看护系统,其特征在于,所述非侵入式的蓝牙头戴脑波采集设备为Think Gear脑电传感器。
9.根据权利要求1所述一种基于视觉与意念信号协同控制的机器人看护系统,其特征在于,还包括物品放置台。