1.注意力融合全局和局部深度特征的建筑立面语义分割方法,其特征在于:通过设计顾及方向和位置编码的局部特征编码,强化局部特征聚合,增强门窗边界点的边缘特征和立面点的局部特征;通过融入全局Transformer感知模块,捕获门窗上下文全局特征,推理建筑立面门窗的几何位置结构和结构布局,从密度变化不均、含有噪声和离值点且数据缺失的建筑立面点云中正确识别出边缘特征不显著的门窗;基于注意力机制融合局部特征和全局特征;
最后将融合后的特征经过两个全连接层和一个Dropout层后,提取建筑立面门窗小部件,得到门窗小部件标注结果;
所述局部特征编码包括局部位置编码、局部方向编码和局部特征聚合;
所述局部位置编码过程如下:
给定建筑立面点云P={p1,…,pi,…,pN}中每个点的三维坐标,采用KNN搜索算法,检索到pi点的K个邻域点集 利用pi及K个邻近点,根据下式对pi进行局部位置编码:
其中,表示pi相对 的位置编码, 是pi点的第k个邻近点,符号 表示拼接运算;
所述局部方向编码过程如下:
给定pi及其邻域点 且各自的法向量分别为ni和 在pi点定义局部坐标系uvw,并建立规则,如下式:
其中,符号“×”表示向量叉乘;
ni与 之间的差异用3个角度 来表示,如下式所示:其中,符号“·”表示向量点乘;
则pi相对 的方向特征编码 表示如下:所述局部特征聚合过程如下:
在对 实施了局部位置编码和局部方向编码后,需将相关位置编码和相关方向编码的k
结果与 中间特征fi拼接得到 点的增强特征 所述中间特征为建筑立面点坐标和法向量原始特征输入到全连接层后生成的非线性中间特征得到增强特征后,将pi点的K个邻近点采用注意力池化策略,实施邻域特征点集的加权求和,聚合邻域点集中有用信息,最终pi点的聚合特征如下:其中,是pi点的局部聚合特征,δ表示归一化函数softmax,MLP表示共享参数。
2.根据权利要求1所述注意力融合全局和局部深度特征的建筑立面语义分割方法,其特征在于:对于所述全局Transformer感知模块,将pi投入到Transformer中的三个不同的全连接层,得到逐点的特征向量qi、ki和vi,进而根据下式得到pi的全局特征其中,γ是两个串联的全连接层。
3.根据权利要求2所述注意力融合全局和局部深度特征的建筑立面语义分割方法,其特征在于:在全局Transformer感知模块中借助残差连接和多次Transformer编码增强对立面全局几何结构特征表达,提高解析不同类型建筑立面的泛化能力。
4.根据权利要求1所述注意力融合全局和局部深度特征的建筑立面语义分割方法,其特征在于:基于注意力机制融合局部特征和全局特征的过程如下:(1)局部和全局特征生成:给定输入点云(N,din),分别从自编码器学习到建筑立面门窗的边缘几何局部特征(N,dlocal)和从使用残差连接的Transformer层学习到门窗间上下文全局特征(N,dglobal);其中,N为当前采样尺度下处理的建筑立面点的数目,din、dlocal和dglobal分别为对应的特征维度;
(2)注意力矩阵构建:将(N,dlocal)和(N,dglobal)用共享参数MLP分别特征映射到(N,64),将两个特征向量相加构建注意力矩阵,并对注意力矩阵使用softmax函数实施归一化操作;
(3)注意力机制的特征融合:将归一化后的注意力矩阵与局部特征矩阵(N,dlocal)实施点乘,计算融合特征向量的注意力值,将注意力值进行非线性映射,得到注意力的融合特征向量,整个融合过程如下所示:
其中,fi是pi的注意力机制融合特征向量, 是pi的局部特征, 是pi的全局特征,pi是建筑立面3D点,δ是归一化函数softmax,符号“·”表示点乘。