1.基于运动感知与时空协同建模的事件相机光流估计方法,其特征在于,包括以下步骤:步骤1,采集真实场景下的原始事件数据,并通过多传感器融合生成对应的伪真值光流标签,构建用于训练与评估的事件光流数据集;
步骤2,对原始事件数据进行时域上的离散化,将其编码为具有固定时间分辨率的事件体素序列,使用双向体素化策略,以参考时间点为中心,将事件体素序列划分为前向和后向两个子段,作为后续模型的输入;
步骤3,构建基于深度递归神经网络的运动感知时空聚合模型,包括双向相关体积模块、状态空间特征增强模块以及时空运动协同模块;
步骤4,将预处理后的事件光流数据集划分为训练集、验证集和测试集,利用训练集对模型进行训练,其中双向相关体积模块与状态空间特征增强模块协同提取事件体素序列中的多尺度时空特征;时空运动协同模块在解码阶段对提取的多尺度时空特征进行动态建模与融合,输出高分辨率的稠密光流图;通过反向传播算法不断优化模型参数,以最小化损失函数,同时借助验证集对训练过程进行性能监控与调整;
步骤5,在完成训练后,选取验证集上性能最优的模型,对测试集的事件体素序列进行光流估计,生成对应的高分辨率稠密光流图。
2.根据权利要求1所述的基于运动感知与时空协同建模的事件相机光流估计方法,其特征在于,步骤2具体为:对于给定时间窗口,将其划分为B个时间窗口,使用以下方式将原始事件数据嵌入为体素单元:;
;
;
其中W和H表示采集事件的宽度和高度,表示归一化的时间索引,x和y表示事件像素坐标,b为时间窗口,表示事件发生的时间点,为事件的极性,表示亮度变化的方向,为一维线性插值核函数,用于对事件在空间和时间维度上进行插值。
3.根据权利要求2所述的基于运动感知与时空协同建模的事件相机光流估计方法,其特征在于,双向相关体积模块的构建方式为:前向时间相关体积计算参考特征与未来帧特征之间的相似性;后向时间相关体积计算参考特征与过去帧特征之间的相似性获得,相关体积的计算公式如下:;
;
其中D为特征维度;
对于当前光流估计f,将其均匀划分为L段,每段位移为,通过线性查找策略从相关体积中提取与运动对齐的特征,具体如下:;
;
由此获得L组前向相关图和L-1组后向相关图。
4.根据权利要求3所述的基于运动感知与时空协同建模的事件相机光流估计方法,其特征在于,空间特征增强模块遵循常见的光流估计架构,在CNN编码器主干之后额外堆叠了4个视觉Mamba增强模块,每个增强模块包含一个Mamba混合器与一个多头自注意力子模块,二者协同构成局部空间建模与全局上下文建模的双向补偿结构。
5.根据权利要求4所述的基于运动感知与时空协同建模的事件相机光流估计方法,其特征在于,视觉Mamba增强模块中的Mamba混合器由双分支结构构成,包括:选择性扫描分支,采用状态空间建模机制,对输入特征进行通道维度上的一维卷积处理后,引入选择性扫描操作以建模长期时间依赖性,从而捕捉事件流的时间动态特征;卷积分支,通过对称结构的卷积路径保留局部空间结构信息,并补偿状态空间建模中的序列顺序约束;两个分支以并行建模时序依赖与空间结构信息。
6.根据权利要求4所述的基于运动感知与时空协同建模的事件相机光流估计方法,其特征在于,时空运动协同模块由三个子模块组成:运动特征聚合器、时间轨迹建模模块和自适应门控融合单元,这三部分分别用于建模空间对齐、时间演化以及时空一体化整合。
7.根据权利要求6所述的基于运动感知与时空协同建模的事件相机光流估计方法,其特征在于,运动特征聚合器首先将来自前向相关图和后向相关图输入到共享的运动编码器中,分别得到L个前向相关特征和L-1个后向相关特征;随后,利用目标时间上的运动特征作为引导,通过单头交叉注意力机制对每个中间时间步的运动特征进行对齐,具体如下:;
;
;
其中,、和为可学习线性变换矩阵,D表示特征维度,MLP为两层前馈感知器,最终得到的前向空间增强特征;通过将上述公式中的替换为,获得后向空间增强特征。
8.根据权利要求6所述的基于运动感知与时空协同建模的事件相机光流估计方法,其特征在于,时间轨迹建模模块的输入是一个完整的运动特征序列,由L个前向相关特征和L-1个后向相关特征组成,所有特征均以参考时间点对齐;
采用标准的Transformer块进行建模,包括层归一化、多头自注意力机制以及前馈网络,以增强运动轨迹的表征能力和时间建模效果;前向时间增强特征通过上述Transformer模块得到:;后向时间增强特征以相同方式由计算得到。
9.根据权利要求6所述的基于运动感知与时空协同建模的事件相机光流估计方法,其特征在于,自适应门控融合单元通过两个步骤来融合空间增强特征和时间增强特征:时间步内融合:对每个时间步i,使用共享的卷积门控网络生成动态权重,动态融合前向空间增强特征与前向时间增强特征,得到前向增强特征序列:;对后向特征也执行相同操作,得到后向增强特征序列;
时间步间融合:前向增强特征序列与后向增强特征序列通过softmax函数归一化权重进行加权聚合:;
最终通过一个1×1卷积进行残差连接,将输入至解码器用于光流预测。
10.根据权利要求1-9任一所述的基于运动感知与时空协同建模的事件相机光流估计方法,其特征在于,采用梯度下降算法对模型进行反向传播训练,损失函数以模型预测光流图与地面实况光流之间的L1距离作为监督信号,具体形式如下:;
其中表示地面实况光流,表示第j次预测的光流结果,N为预测迭代总次数,为调整各阶段损失权重的超参数。