欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025109694707
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种铁路货运列车图像异常区域编辑方法,其特征在于,所述方法包括:获取铁路货运列车的车厢的原始图像,以及异常区域的编辑指令;

将所述编辑指令和所述原始图像输入大语言模型进行解析,再通过思维链推理机制将所述编辑指令逐步分解为子任务链,所述子任务链包括编辑对象定位、异常内容构建以及区域融合优化;

对所述编辑指令提取目标语义信息,再对所述原始图像提取图像特征,根据所述目标语义信息对所述图像特征进行目标区域定位,生成空间掩码,输出目标区域掩码,实现编辑对象定位,包括:将所述编辑指令输入至结构化语义解析网络中,得到三元组,所述三元组包括编辑目标对象、编辑操作类型、编辑空间定位,表示为:,

其中,为三元组,为编辑目标对象,为编辑操作类型,为编辑空间定位,将所述三元组输入至预训练的文本编辑器BERT中,提取目标语义信息,计算公式为:,

其中,为目标语义信息,为预训练的文件编辑器BERT的计算函数,为维实数向量空间,将所述原始图像输入预训练的SAM编辑器中提取图像特征,表示为:,

其中,为图像特征,为预训练的SAM编辑器的计算函数,为原始图像,为维实数向量空间,、、分别为图像特征的高度、宽度、通道数,将所述目标语义信息和所述图像特征映射到同一向量空间,并对每个空间位置计算图像特征和目标语义信息之间的相似度,得到热图,计算公式为:,

其中,为图像特征在位置上线性投影的特征信息,为图像特征的线性投影矩阵,为图像特征在位置上的特征信息,为维实数向量空间,为目标语义信息在线性投影上的语义特征,为目标语义信息的线性投影矩阵,为热图在位置上的相似度,,,将所述热图进行二值化,得到空间掩码,计算公式为:,

其中,为空间掩码在位置的二值化内容,表示空间掩码的编辑目标区域的位置分布,1表示编辑目标区域,0表示非编辑目标区域,为热图阈值,;

将所述目标语义信息和所述图像特征融合,得到语义控制向量,根据所述语义控制向量和所述空间掩码以及所述图像特征,进行图像编辑,得到初始编辑图像,实现异常内容构建,包括:对所述原始图像在所述空间掩码的区域进行噪声初始化,得到初始噪声图像,计算公式如下:,

其中,为初始噪声图像中像素点的内容,为编辑目标区域,为空间掩码中像素点的内容,为原始图像中像素点的内容,表示标准正态噪声初始化函数,将所述初始噪声图像作为扩散过程的起始图像,基于所述图像特征、所述语义控制向量以及所述空间掩码,逐步扩散去噪,得到初始编辑图像,计算公式如下:,

其中,为时间步的预测去噪后的图像,为噪声预测模型的计算函数,为时间步的预测去噪后的图像,直至=0,得到初始编辑图像;

对所述目标区域掩码进行预处理,得到融合边界区域,在所述融合边界区域中对所述原始图像与所述初始编辑图像进行匹配融合,得到异常区域编辑图像,实现区域融合优化。

2.根据权利要求1所述的铁路货运列车图像异常区域编辑方法,其特征在于,目标区域掩码构建的步骤,具体包括:采用双线性插值算法对所述空间掩码进行上采样,将空间掩码的尺寸还原为原始图像的大小,得到目标区域掩码。

3.根据权利要求1所述的铁路货运列车图像异常区域编辑方法,其特征在于,将所述目标语义信息和所述图像特征融合,得到语义控制向量的步骤,具体包括:将所述目标语义信息和所述图像特征通过交叉注意力机制融合,得到语义控制向量,计算公式如下:,

其中,、、为可学习的矩阵,为激活函数,为查询矩阵,为键矩阵,为值矩阵,为语义控制向量,为键矩阵的转置,为可学习的参数,为交叉注意力机制的计算函数。

4.根据权利要求2所述的铁路货运列车图像异常区域编辑方法,其特征在于,对所述目标区域掩码进行预处理,得到融合边界区域的步骤,具体包括:对所述目标区域掩码进行形态学扩张与腐蚀,得到融合边界区域,计算公式如下:,

其中,为融合边界区域,为目标区域掩码,为进行半径为的膨胀操作,为进行半径为的腐蚀操作。

5.根据权利要求4所述的铁路货运列车图像异常区域编辑方法,其特征在于,在所述融合边界区域中对所述原始图像与所述初始编辑图像进行匹配融合,得到异常区域编辑图像,实现区域融合优化的步骤,具体包括:在所述融合边界区域中对所述原始图像与所述初始编辑图像进行纹理匹配,通过双边滤波器进行边缘平滑处理,计算公式为:,

其中,为边缘平滑处理的初始编辑图像中像素点的内容,为归一化因子,为像素点的邻域,为初始编辑图像中像素点的内容,为原始图像中像素点的内容,为像素点的邻域像素,为空间高斯滤波计算函数,为像素高斯滤波计算函数,像素点属于融合边界区域;

基于所述原始图像,对所述初始编辑图像进行光照矫正,计算公式为:,

其中,为光照矫正后的初始编辑图像的像素的内容,为未光照矫正的初始编辑图像的像素的内容,为光照矫正计算函数;

基于所述原始图像,对所述光照矫正后的初始编辑图像进行色彩矫正,计算公式为:其中,表示特征通道上的标准差,表示特征通道上的均值,为自适应实例归一化计算函数;

将矫正后的初始编辑图像与所述原始图像进行融合,得到异常区域编辑图像。

6.根据权利要求5所述的铁路货运列车图像异常区域编辑方法,其特征在于,将矫正后的初始编辑图像与所述原始图像进行融合,得到异常区域编辑图像的计算公式为:,

其中,为异常区域编辑图像,为原始图像,为矫正后的初始编辑图像。

7.根据权利要求1所述的铁路货运列车图像异常区域编辑方法,其特征在于,所述方法还包括:用户通过文本描述输入交互,解析更新产生新的目标语义信息,并将所述初始编辑图像替换所述原始图像,调整目标区域定位,重新生成新的异常区域编辑图像;

多轮交互直至生成满足用户需求的新的异常区域编辑图像。

8.一种铁路货运列车图像异常区域编辑系统,其特征在于,所述系统用于实现权利要求1至7中任意一项所述的铁路货运列车图像异常区域编辑方法,所述系统包括:编辑指令获取模块,用于获取铁路货运列车的车厢的原始图像,以及异常区域的编辑指令;

子任务分解模块,用于将所述编辑指令和所述原始图像输入大语言模型进行解析,再通过思维链推理机制将所述编辑指令逐步分解为子任务链,所述子任务链包括编辑对象定位、异常内容构建以及区域融合优化;

编辑对象定位模块,用于对所述编辑指令提取目标语义信息,再对所述原始图像提取图像特征,根据所述目标语义信息对所述图像特征进行目标区域定位,生成空间掩码,输出目标区域掩码,实现编辑对象定位,包括:将所述编辑指令输入至结构化语义解析网络中,得到三元组,所述三元组包括编辑目标对象、编辑操作类型、编辑空间定位,表示为:,

其中,为三元组,为编辑目标对象,为编辑操作类型,为编辑空间定位,将所述三元组输入至预训练的文本编辑器BERT中,提取目标语义信息,计算公式为:,

其中,为目标语义信息,为预训练的文件编辑器BERT的计算函数,为维实数向量空间,将所述原始图像输入预训练的SAM编辑器中提取图像特征,表示为:,

其中,为图像特征,为预训练的SAM编辑器的计算函数,为原始图像,为维实数向量空间,、、分别为图像特征的高度、宽度、通道数,将所述目标语义信息和所述图像特征映射到同一向量空间,并对每个空间位置计算图像特征和目标语义信息之间的相似度,得到热图,计算公式为:,

其中,为图像特征在位置上线性投影的特征信息,为图像特征的线性投影矩阵,为图像特征在位置上的特征信息,为维实数向量空间,为目标语义信息在线性投影上的语义特征,为目标语义信息的线性投影矩阵,为热图在位置上的相似度,,,将所述热图进行二值化,得到空间掩码,计算公式为:,

其中,为空间掩码在位置的二值化内容,表示空间掩码的编辑目标区域的位置分布,1表示编辑目标区域,0表示非编辑目标区域,为热图阈值,;

异常内容构建模块,用于将所述目标语义信息和所述图像特征融合,得到语义控制向量,根据所述语义控制向量和所述空间掩码以及所述图像特征,进行图像编辑,得到初始编辑图像,实现异常内容构建,包括:对所述原始图像在所述空间掩码的区域进行噪声初始化,得到初始噪声图像,计算公式如下:,

其中,为初始噪声图像中像素点的内容,为编辑目标区域,为空间掩码中像素点的内容,为原始图像中像素点的内容,表示标准正态噪声初始化函数,将所述初始噪声图像作为扩散过程的起始图像,基于所述图像特征、所述语义控制向量以及所述空间掩码,逐步扩散去噪,得到初始编辑图像,计算公式如下:,

其中,为时间步的预测去噪后的图像,为噪声预测模型的计算函数,为时间步的预测去噪后的图像,直至=0,得到初始编辑图像;

区域融合优化模块,用于对所述目标区域掩码进行预处理,得到融合边界区域,在所述融合边界区域中对所述原始图像与所述初始编辑图像进行匹配融合,得到异常区域编辑图像,实现区域融合优化。