1.一种基于不平衡样本的光伏组件图像缺陷识别方法,其特征在于,包括:获取至少一个光伏组件图像,对所述至少一个光伏组件图像进行预处理,得到相同尺寸的各个光伏组件目标图像,并将所述各个光伏组件目标图像打包为第一数据集;
将所述第一数据集输入至改进的DCGAN模型中,所述DCGAN模型输出得到各个缺陷图像样本,并根据预设的图像质量评价策略对所述各个缺陷图像样本进行分析,得到符合预设条件的至少一个目标缺陷图像样本,其中,所述改进的DCGAN模型中包含生成器和判别器,所述生成器中具体包括以下步骤:随机噪声作为生成器的初始输入,随机噪声首先进入全连接层,将噪声向量映射到一个特征空间;
全连接层的输出进入AdaIN层,注入缺陷类别标签,调整高维特征的分布,表达式为:,
式中,为AdaIN层的输出,为全连接层的输出,为类别标签,为特征的均值,为特征的标准差;
AdaIN层的输出经过reshape操作,将特征向量重塑为适合后续卷积操作的张量形状;
进入批量归一化层,对数据进行归一化处理;
批量归一化层的输出依次经由ReLU激活函数层、第一残差块、第二残差块、第一自注意力层、第三残差块、第二自注意力层以及第四残差块;
第四残差块的输出进入转置卷积层,将特征图上采样,并且转置卷积层的输出通过Tanh激活函数层,将像素值映射到[-1,1]范围内,生成最终的图像数据;
所述判别器中具体包括以下步骤:
图像数据进入判别器,经过卷积层,对图像数据进行特征提取;
卷积层的输出依次经由Leaky ReLU激活函数层、第五残差块、第六残差块、第一自注意力层、第七残差块、第二自注意力层以及第八残差块;
第八残差块的输出经过Flatten层,将多维特征图展平为一维向量;
展平后的一维向量进入全连接层,输出一个标量值,表示判别器对输入图像为真实图像的置信度;
将所述至少一个目标缺陷图像样本和所述至少一个光伏组件图像进行打包得到第二数据集,并将所述第二数据集输入至预设的YOLOv8模型中进行迭代训练,得到光伏组件图像缺陷识别模型;
将获取的实时光伏组件图像输入至所述光伏组件图像缺陷识别模型中,所述光伏组件图像缺陷识别模型输出得到与所述实时光伏组件图像相对应的缺陷识别结果。
2.根据权利要求1所述的一种基于不平衡样本的光伏组件图像缺陷识别方法,其特征在于,所述生成器和判别器中包括双注意力机制,具体为:通道分支先经过全局平均池化,表达式为:
,
式中,为每个样本的c个通道均值,为特征空间尺寸,表示第b个样本、第c个通道、第i行、第j列的特征值;
输出结果经过全连接层生成通道权重,表达式为:,
式中,为通道对应权重,为Sigmoid激活函数,为ReLU激活函数,、为第一级全连接层权重和偏置,、为第二级全连接层权重和偏置;
空间分支线经过可形变卷积,通过学习核偏移量,让核变形覆盖缺陷区域,表达式为:,
式中,为当前特征图位置,为卷积核大小,为卷积核固定偏移,为可学习偏移量,为卷积核权重,为位置p的输出特征;
输出经过多尺度融合,自适应Top-K筛选,计算空间权重图,根据输入动态保留关键位置,表达式为:,
,
式中,为多尺度融合输出,为原始空间权重图,为Sigmoid激活函数,为基础保留比例,设置为0.3,为灰尘样本补偿系数,设置为0.3,为输入图像中的灰尘比例,为选择中值最高的K个位置,返回索引;
通过稀疏注意力计算对Top-K位置计算自注意力,表达式为:,
式中,分别为查询矩阵、键矩阵、值矩阵,为特征维度,、和为从、和中筛选出的子集,为转置矩阵符号,为归一化函数,为自注意力机制表达;
通过通道加权融合双路特征,表达式为:
,
式中,为融合特征,为稀疏注意力特征,为通道权重;
通过相对位置编码,增强对缺陷位置的捕捉能力,表达式为:,
式中,为最终输出特征,为特征图位置与参考位置的相对坐标的可学习的相对位置编码函数。
3.根据权利要求1所述的一种基于不平衡样本的光伏组件图像缺陷识别方法,其特征在于,所述改进的DCGAN模型的总损失函数的表达式为:,
式中,为对抗损失权重,为类别损失权重,为纹理损失权重,为位置损失权重,为对抗损失,为类别损失,为纹理损失,为位置损失;
计算对抗损失的表达式为:
,
,
,
式中,为真实光伏缺陷图像的分布,为随机噪声的分布,为缺陷类别标签的分布,为生成器,为判别器,为期望运算;
计算类别损失的表达式为:
,
式中,为类别标签的one-hot编码,为判别器类别分类头的输出;
计算纹理损失的表达式为:
,
式中,为纹理特征的概率分布,为纹理特征的维度;
计算位置损失的表达式为:
,
式中,为图像x中缺陷区域的相对位置坐标,为相对位置编码函数,为L1范数。
4.根据权利要求1所述的一种基于不平衡样本的光伏组件图像缺陷识别方法,其特征在于,所述生成器中改进后的Wasserstein距离的表达式为:,
式中,为改进后的Wasserstein距离,为真实光伏缺陷图像的数量,为生成器生成的光伏缺陷图像的数量,为真实样本与生成样本的匹配权重,为真实光伏缺陷图像,为生成器生成的光伏缺陷图像,为权重系数,为所有可能的运输计划中最小搬运成本,为满足边际分布的联合分布集合,为运输计划。
5.根据权利要求1所述的一种基于不平衡样本的光伏组件图像缺陷识别方法,其特征在于,所述根据预设的图像质量评价策略对所述各个缺陷图像样本进行分析,得到符合预设条件的至少一个目标缺陷图像样本包括:采用盒计数法量化各个缺陷图像样本中缺陷边缘的复杂程度,得到分形维度,表达式为:,
式中,为覆盖缺陷边缘所需边长s的盒子数量;
采用KL散度验证各个缺陷图像样本中的灰度分布匹配度,计算KL散度的表达式为:,
式中,为生成缺陷灰度分布,为真实EL分布,为缺陷灰度分布与真实EL分布之间的KL散度;
对鸟粪类缺陷强化边缘结构相似性约束,并基于加权线性融合评分函数,对灰尘类缺陷的纹理多样性评分,得到综合评分结果,表达式为:,
式中,为分形维度D的全局最大值,为分形维度D的全局最小值,为KL散度的全局最大值,为KL散度的全局最小值,、、均为超参数,由人工调优取值,为动态权重函数,由人工调优取值,为分形维度,为KL散度;
利用综合评分结果,并设置阈值T,若≥T,则保留并加入训练集,反之则舍弃并重新迭代。
6.一种基于不平衡样本的光伏组件图像缺陷识别系统,其特征在于,包括:预处理模块,配置为获取至少一个光伏组件图像,对所述至少一个光伏组件图像进行预处理,得到相同尺寸的各个光伏组件目标图像,并将所述各个光伏组件目标图像打包为第一数据集;
分析模块,配置为将所述第一数据集输入至改进的DCGAN模型中,所述DCGAN模型输出得到各个缺陷图像样本,并根据预设的图像质量评价策略对所述各个缺陷图像样本进行分析,得到符合预设条件的至少一个目标缺陷图像样本,其中,所述改进的DCGAN模型中包含生成器和判别器,所述生成器中具体包括以下步骤:随机噪声作为生成器的初始输入,随机噪声首先进入全连接层,将噪声向量映射到一个特征空间;
全连接层的输出进入AdaIN层,注入缺陷类别标签,调整高维特征的分布,表达式为:,
式中,为AdaIN层的输出,为全连接层的输出,为类别标签,为特征的均值,为特征的标准差;
AdaIN层的输出经过reshape操作,将特征向量重塑为适合后续卷积操作的张量形状;
进入批量归一化层,对数据进行归一化处理;
批量归一化层的输出依次经由ReLU激活函数层、第一残差块、第二残差块、第一自注意力层、第三残差块、第二自注意力层以及第四残差块;
第四残差块的输出进入转置卷积层,将特征图上采样,并且转置卷积层的输出通过Tanh激活函数层,将像素值映射到[-1,1]范围内,生成最终的图像数据;
所述判别器中具体包括以下步骤:
图像数据进入判别器,经过卷积层,对图像数据进行特征提取;
卷积层的输出依次经由Leaky ReLU激活函数层、第五残差块、第六残差块、第一自注意力层、第七残差块、第二自注意力层以及第八残差块;
第八残差块的输出经过Flatten层,将多维特征图展平为一维向量;
展平后的一维向量进入全连接层,输出一个标量值,表示判别器对输入图像为真实图像的置信度;
训练模块,配置为将所述至少一个目标缺陷图像样本和所述至少一个光伏组件图像进行打包得到第二数据集,并将所述第二数据集输入至预设的YOLOv8模型中进行迭代训练,得到光伏组件图像缺陷识别模型;
输出模块,配置为将获取的实时光伏组件图像输入至所述光伏组件图像缺陷识别模型中,所述光伏组件图像缺陷识别模型输出得到与所述实时光伏组件图像相对应的缺陷识别结果。
7.一种电子设备,其特征在于,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至5任一项所述的方法。