1.一种基于跨模态免训练的少样本点云语义分割方法,其特征在于,包括以下步骤:
S1、提取给定三维场景点云空间的支持集和查询集中样本的点云特征;其中支持集包括带有语义类别标签的多个点云样本,语义类别标签的个数小于等于3,带有同一语义类别标签的样本数小于等于5;查询集仅包含多个待分割的点云样本;
S2、基于语义类别标签和给定三维场景,利用指定的大语言模型生成与语义类别标签对应的文本描述,将文本描述映射到给定的三维场景点云空间,得到文本映射点云特征;
S3、对支持集的点云特征进行聚合,得到支持集的初始点云原型特征,其中初始点云原型特征为对某一语义类别在点云特征空间中的代表性中心表示;
S4、对齐文本映射点云特征和支持集的初始点云原型特征的特征维度,计算二者之间的相关性并据此计算文本-点云相似度权重,根据该文本-点云相似度权重更新支持集的点云原型特征;
S5、基于查询集的点云特征和更新后的支持集的点云原型特征,计算二者之间的相似度分布并据此计算相似度权重,并根据该相似度权重将查询集的点云特征和支持集的点云原型特征进行融合,得到修正后的点云原型特征;
S6、将查询集中各点云的特征与修正后的点云原型特征进行相似度计算,得到查询集中各点云在各语义类别标签上的概率分布,确定每个查询点云对应的语义类别,进行语义分割。
2.根据权利要求1所述的基于跨模态免训练的少样本点云语义分割方法,其特征在于,步骤S2中指定的大语言模型为DeepSeek。
3.根据权利要求1所述的基于跨模态免训练的少样本点云语义分割方法,其特征在于,步骤S3中初始点云原型特征的聚合过程具体为:通过逐元素掩码平均池化层对支持集的点云特征进行逐元素掩码约束,仅对有效点特征进行聚合,生成初始点云原型特征。
4.根据权利要求1所述的基于跨模态免训练的少样本点云语义分割方法,其特征在于,具体利用预训练好的点云生成式模型Shap-E将文本描述映射到点云空间,通过点云编码器TaylorSeg获取文本映射点云特征。
5.根据权利要求1所述的基于跨模态免训练的少样本点云语义分割方法,其特征在于,步骤S4中文本-点云相似度权重的具体计算过程为:对齐文本映射点云特征和初始点云原型特征到相同的特征维度,计算二者之间的类别相关性,结合Softmax归一化结果与单位矩阵进行加权融合得到相似度权重,通过初始点云原型特征和相似度权重的点乘计算得到更新后的点云原型特征。
6.根据权利要求5所述的基于跨模态免训练的少样本点云语义分割方法,其特征在于,具体利用内积计算文本映射点云特征和初始点云原型特征之间的类别相关性。
7.根据权利要求1所述的基于跨模态免训练的少样本点云语义分割方法,其特征在于,步骤S5中根据该相似度权重将查询集的点云特征和支持集的点云原型特征进行融合时,具体采用动态加权平均策略进行加权融合。
8.根据权利要求1所述的基于跨模态免训练的少样本点云语义分割方法,其特征在于,步骤S6具体为:将查询集中各点云的特征与修正后的点云原型特征进行余弦相似度计算,获得各点云在所有语义类别标签上的响应分布;对响应分布进行归一化处理,并根据最大响应原则确定每个点云对应的语义类别,根据语义类别进行分割,得到点云的语义分割结果。
9.一种基于跨模态免训练的少样本点云语义分割系统,其特征在于,包括:
点云特征提取模块,用于提取给定三维场景点云空间的支持集和查询集中样本的点云特征;其中支持集包括带有语义类别标签的多个点云样本,语义类别标签的个数小于等于3,带有同一语义类别标签的样本数小于等于5;查询集仅包含多个待分割的点云样本;
文本映射模块,用于基于语义类别标签和给定三维场景,利用指定的大语言模型生成与语义类别标签对应的文本描述,将文本描述映射到给定的三维场景点云空间,得到文本映射点云特征;
初始点云原型特征获取模块,用于对支持集的点云特征进行聚合,得到支持集的初始点云原型特征;其中初始点云原型特征为对某一语义类别在点云特征空间中的代表性中心表示;
点云原型特征更新模块,用于对齐文本映射点云特征和支持集的初始点云原型特征的特征维度,计算二者之间的相关性并据此计算文本-点云相似度权重,根据该文本-点云相似度权重更新支持集的点云原型特征;
点云原型特征修正模块,用于基于查询集的点云特征和更新后的支持集的点云原型特征,计算二者之间的相似度分布并据此计算相似度权重,并根据该相似度权重将查询集的点云特征和支持集的点云原型特征进行融合,得到修正后的点云原型特征;
语义分割模块,用于将查询集中各点云的特征与修正后的点云原型特征进行相似度计算,得到查询集中各点云在各语义类别标签上的概率分布,确定每个查询点云对应的语义类别,进行语义分割。
10.一种计算机存储介质,其特征在于,其内存储有可被处理器执行的计算机程序,该计算机程序用于实现权利要求1-8中任一项所述的基于跨模态免训练的少样本点云语义分割方法。