1.一种基于事件相机的水下三维手部姿态估计方法,其特征在于,所述方法包括:S1:利用事件相机采集水下潜水员手势视频,将所述手势视频转换成事件序列,根据所述事件序列构建数据集;
S2:根据voxel grid对所述事件序列进行体素化,将所述体素化后的事件序列通过体素网格方式进行数据表示;
S3:利用高斯滤波器处理体素网格形式的事件序列进行滤波处理,获取清洗后的事件序列;
S4:根据清洗后的事件序列构建基于Transformer的视频观测模型,根据基于Transformer的视频观测模型获取估计值;
S5:使用卡尔曼滤波器对估计值进行处理并生成蒙皮参数;
S6:根据蒙皮参数生成蒙皮的可视化结果,完成水下三维手部姿态估计;
所述步骤S4中基于Transformer的视频观测模型包括:Transformer模块、视频视觉变化器模块、多头通道自注意力模块和序列选择模块;
所述Transformer模块由多个Attention和FeedForward组成;
所述每个Attention层接收输入清洗后的事件序列并计算注意力权重,通过残差连接和层归一化将注意力输出与输入相加;
所述FeedForward层对注意力输出进行非线性变换;
所述视频视觉变化器模块通过一个卷积层将输入图像划分为多个图像块,并对每个图像块进行线性变换得到特征表示,位置编码被加到特征表示中;
空间编码使用Transformer模块进行处理;
通过平均池化将特征表示进行池化,然后通过全连接层进行分类;
所述多头通道自注意力模块包括一个卷积层和一个深度卷积层,用于计算查询、键和值;
通过归一化和softmax函数计算注意力权重;通过线性变换得到输出加权和,获取多头注意力的输出;
所述序列选择模块通过遍历输入的注意力图,将当前图与前一个图相乘得到最终的注意力图;
对于最终的注意力图通过池化操作选择具有最高注意力权重的部分进行输出。
2.根据权利要求1所述的一种基于事件相机的水下三维手部姿态估计方法,其特征在于,所述步骤S1包括:根据所述手势视频转换成事件序列,按照事件序列微秒级的时间戳进行划分;
针对每个微秒级的时间戳,生成一个事件窗口,所述每个事件窗口代表一个时间间隔内的事件序列;
采集每个事件窗口的事件数据,所述事件数据包括触发时间戳、像素位置信息以及光强变化的方向;
将每个事件窗口的事件数据作为一个样本,构建数据集。
3.根据权利要求2所述的一种基于事件相机的水下三维手部姿态估计方法,其特征在于,所述步骤S2包括:根据所述事件序列的异步稀疏性,对每个事件窗口采用体素网格方式进行事件表征,计算公式为:,
其中, 为经过体素网格表征后的事件窗口,( )为第个事件的坐标分别代表、为第个事件的时间戳, 为第 个事件的极性, 为正则化的时间戳, 为当前事件窗口的最大时间戳, 为当前事件窗口的最小时间戳,为正则化时间戳范围的起点。
4.根据权利要求1所述的一种基于事件相机的水下三维手部姿态估计方法,其特征在于,所述步骤S3包括:根据事件序列所需的平滑程度和体素网格的特性来确定高斯核的大小和标准差;
使用高斯核对体素网格形式的事件序列进行卷积,获取清洗后的事件序列。
5.根据权利要求1所述的一种基于事件相机的水下三维手部姿态估计方法,其特征在于,所述步骤S5包括:将估计值映射到观测空间;比较观测值和估计值之间的差异,计算观测残差;
利用卡尔曼滤波器对估计值进行处理,获取对应的状态向量S,根据状态向量对预测误差矩阵的更新,其中, 是参数 的速度,i=1,2,...,12;
根据当前时刻的观测值和状态向量,利用卡尔曼滤波器对状态和协方差矩进行更新,所述协方差矩阵 为:其中, 为给定的噪声方差,Wi为[ ]的过程噪声协方差矩阵;
根据卡尔曼滤波器的状态更新的结果,获取当前时刻的蒙皮参数,同时更新预测误差矩阵和协方差矩阵。
6. 根据权利要求1所述的一种基于事件相机的水下三维手部姿态估计方法,其特征在于, 所述步骤S6包括:将所述蒙皮参数从体素形式转到转换为视频帧形式,将转换后的视频帧和对应的蒙皮参数估计值进行编码,生成蒙皮的可视化结果,完成水下三维手部姿态估计。
7.一种基于事件相机的水下三维手部姿态估计系统,其特征在于,所述系统包括:视频转换单元,用于利用事件相机采集水下潜水员手势视频,将所述手势视频转换成事件序列,根据所述事件序列构建数据集;
体素化单元,用于根据voxel grid对所述事件序列进行体素化,将所述体素化后的事件序列通过体素网格方式进行数据表示;
清洗单元,用于利用高斯滤波器处理体素网格形式的事件序列进行滤波处理,获取清洗后的事件序列;
估计值获取单元,用于根据清洗后的事件序列构建基于Transformer的视频观测模型,根据基于Transformer的视频观测模型获取估计值;
蒙皮参数获取单元,用于使用卡尔曼滤波器对估计值进行处理并生成蒙皮参数;
可视化单元,用于根据蒙皮参数生成蒙皮的可视化结果,完成水下三维手部姿态估计;
所述基于Transformer的视频观测模型包括:Transformer模块、视频视觉变化器模块、多头通道自注意力模块和序列选择模块;
所述Transformer模块由多个Attention和FeedForward组成;
所述每个Attention层接收输入清洗后的事件序列并计算注意力权重,通过残差连接和层归一化将注意力输出与输入相加;
所述FeedForward层对注意力输出进行非线性变换;
所述视频视觉变化器模块通过一个卷积层将输入图像划分为多个图像块,并对每个图像块进行线性变换得到特征表示,位置编码被加到特征表示中;
空间编码使用Transformer模块进行处理;
通过平均池化将特征表示进行池化,然后通过全连接层进行分类;
所述多头通道自注意力模块包括一个卷积层和一个深度卷积层,用于计算查询、键和值;
通过归一化和softmax函数计算注意力权重;通过线性变换得到输出加权和,获取多头注意力的输出;
所述序列选择模块通过遍历输入的注意力图,将当前图与前一个图相乘得到最终的注意力图;
对于最终的注意力图通过池化操作选择具有最高注意力权重的部分进行输出。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于储存计算机程序,所述计算机程序执行权利要求1‑6任一项所述的一种基于事件相机的水下三维手部姿态估计方法。
9.一种计算机设备,其特征在于:包括存储器和处理器,所述存储器中存储有计算机程序,当所述处理器运行所述存储器存储的计算机程序时,所述处理器执行根据权利要求1‑6中任一项中所述的一种基于事件相机的水下三维手部姿态估计方法。