欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024110115698
申请人: 上海靖海氪视信息技术有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2025-06-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的监控数据分析系统,其特征在于,包括初步识别模块、性能验证模块、性能划分模块、标注分析模块、置信度划分模块、采纳模块;

初步识别模块用于获取现阶段训练完成的深度学习模型的目标场景的应用信息,然后进行初步分析,基于初步分析的结果初步判断确定现阶段训练完成的深度学习模型在目标场景应用时,是否存在性能不足的隐患;

性能验证模块用于对存在性能不足的隐患的现阶段训练完成的深度学习模型进行性能验证操作,得到综合性能值;

性能划分模块基于综合性能值将现阶段训练完成的深度学习模型划分为高等质量深度学习模型、中等质量深度学习模型和低等质量深度学习模型;

标注分析模块用于针对中等质量深度学习模型,进行增量学习方式的标注作业,针对低等质量深度学习模型,进行重新学习方式的标注作业;

置信度划分模块用于对标注作业过程进行质量分析,分别得到标注一致性质量指数和审核反馈质量指数,然后将标注一致性质量指数和审核反馈质量指数进行综合分析,得到综合置信度系数并输送至采纳模块;

采纳模块用于基于综合置信度系数将标注作业划分为高质量作业和低质量作业并采纳高质量作业的标注数据。

2.根据权利要求1所述的一种基于深度学习的监控数据分析系统,其特征在于,初步识别模块用于获取现阶段训练完成的深度学习模型的目标场景的应用信息,然后进行初步分析指的是:在固定的时间窗口下,获取现阶段训练完成的深度学习模型的目标场景的应用信息,将该固定的时间窗口划分为多个连续且相等的子窗口,然后分别获取每个子窗口的异常检测率,得到时间序列X,分别计算时间序列X的平均值和标准差。

3.根据权利要求2所述的一种基于深度学习的监控数据分析系统,其特征在于,异常检测率指的是检测到的异常事件总数与实际发生的异常事件总数的比值。

4.根据权利要求3所述的一种基于深度学习的监控数据分析系统,其特征在于,基于初步分析的结果初步判断确定现阶段训练完成的深度学习模型在目标场景应用时,是否存在性能不足的隐患指的是:获取计算时间序列X的平均值和标准差,然后将时间序列X的平均值与该目标场景下预设的异常检测率平均参数阈值进行对比,将时间序列X的标准差与该目标场景下预设的异常检测率波动参数阈值进行对比,如果满足时间序列X的平均值小于等于该目标场景下预设的异常检测率平均参数阈值且时间序列X的标准差小于等于该目标场景下预设的异常检测率波动参数阈值,则生成正常信号,如果不满足时间序列X的平均值小于等于该目标场景下预设的异常检测率平均参数阈值且时间序列X的标准差小于等于该目标场景下预设的异常检测率波动参数阈值,则生成异常信号,异常信号生成时表示现阶段训练完成的深度学习模型在目标场景应用时,存在性能不足的隐患。

5.根据权利要求4所述的一种基于深度学习的监控数据分析系统,其特征在于,对存在性能不足的隐患的现阶段训练完成的深度学习模型进行性能验证操作指的是:从真实场景中收集一组新的验证数据集,并且确保验证数据已准确标注,使用存在性能不足的隐患的现阶段训练完成的深度学习模型对验证数据集进行预测,获取预测结果。

6.根据权利要求5所述的一种基于深度学习的监控数据分析系统,其特征在于,综合性能值的获取逻辑为:根据预测结果得到各项预设的性能指标对应数据,然后每一个性能指标的平均值并标记为PX i,通过加权平均的方法,将多个性能指标结合在一起,根据具体应用场景的重要性来分配每个性能指标的权重,计算综合性能值的公式为:CPS表示综合性能值,n为预设的性能指标总数量,Wi表示预设的性能指标i对应的权重,且所有的权重Wi之和等于一。

7.根据权利要求6所述的一种基于深度学习的监控数据分析系统,其特征在于,基于综合性能值将现阶段训练完成的深度学习模型划分为高等质量深度学习模型、中等质量深度学习模型和低等质量深度学习模型指的是:获取现阶段训练完成的深度学习模型的综合性能值,综合性能值与预设的基准综合性能阈值进行对比,将高于预设的基准综合性能阈值的深度学习模型划分为高等质量深度学习模型,将低于预设的基准综合性能阈值与p的乘积值的深度学习模型划分为低等质量深度学习模型,p为该目标场景下预设的百分比系数,将不低于预设的基准综合性能阈值与p的乘积值,且不高于预设的基准综合性能阈值的深度学习模型划分为中等质量深度学习模型。

8.根据权利要求7所述的一种基于深度学习的监控数据分析系统,其特征在于,标注一致性质量指数的获取逻辑为:从N个标注人员收集对包含M个样本的同一数据集的标注结果,对每个样本,计算所有标注人员之间的一致性,假设标注类别总数为C,构建一个一致性矩阵,其中每个元素表示两个标注人员对一个样本的一致性,对每个标注人员i,计算其与其他所有标注人员的一致性平均值,计算公式为:Ai表示标注人员i与其他所有标注人员的一致性平均值,Iij表示标注人员i和j对所有样本的一致性,然后将所有标注人员的一致性平均值求和,得到总体一致性,计算公式为:Atotal表示总体一致性;

计算一致性系数Fleiss′Kappa,计算公式为:Po表示观察到的一致性比例,Pe表示期望的一致性比例;k表示一致性系数;

Po计算公式为:

Pe计算公式为:

M为样本总数,N为标注人员总数,C为类别总数,nmc为对样本m标注为类别c的标注人员数量;

对一致性系数k和总体一致性Atotal进行加权平均,得到标注一致性质量指数。

9.根据权利要求8所述的一种基于深度学习的监控数据分析系统,其特征在于,审核反馈质量指数的获取逻辑为:预设评估审核和反馈质量的多个指标,从审核和反馈过程中收集多个指标相对应数据并构建当前审核反馈质量向量,获取标准审核反馈质量向量,计算当前审核反馈质量向量和标准审核反馈质量向量的相似度,审核反馈质量指数的数值与相似度数值相同。

10.根据权利要求9所述的一种基于深度学习的监控数据分析系统,其特征在于,综合置信度系数的获取逻辑为:将标注一致性质量指数和审核反馈质量指数一同代入预先训练好的机器学习模型中进行综合分析,机器学习模型的输出数据即为综合置信度系数。