欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023117395303
申请人: 云南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种骨骼关键点知识增强的地铁乘客异常行为视频描述方法,其特征在于,所述骨骼关键点知识增强的地铁乘客异常行为视频描述方法包括:获取地铁异常行为视频;

对所述地铁异常行为视频进行分割,得到多个异常行为视频片段,并提取各异常行为视频片段中各乘客的骨骼关节点;

基于地铁领域知识构建异常行为知识图谱;所述异常行为知识图谱中包括多个异常行为类别及多个骨骼关节点,每个异常行为类别通过多个骨骼关节点表征,且每个骨骼关节点包括多个属性特征;

根据各异常行为视频片段中各乘客的骨骼关节点的各属性特征,从各异常行为视频片段中筛选出各乘客的骨骼关键点,并确定各异常行为视频片段中各乘客的骨骼关键点视觉特征向量;

基于所述异常行为知识图谱构建骨骼关键点知识图谱;所述骨骼关键点知识图谱中包括多个异常行为类别、各乘客的骨骼关键点及骨骼关键点知识向量;所述骨骼关键点知识向量包括各骨骼关键点的多个属性特征;

针对任一异常行为视频片段,根据所述异常行为视频片段中各乘客的骨骼关键点视觉特征向量及骨骼关键点知识向量,采用时空图卷积神经网络确定所述异常行为视频片段的异常行为视觉表征;

所述时空图卷积神经网络采用以下公式确定异常行为视频片段

其中,X为时空图卷积神经网络的输入,

根据所述异常行为视频片段中各乘客的骨骼关键点视觉特征向量及骨骼关键点知识向量,采用跨模态注意力知识增强模型,确定所述异常行为视频片段中各时间步的知识感知上下文向量;

所述跨模态注意力知识增强模型采用以下公式确定异常行为视频片段θ(u

其中,

根据所述异常行为视频片段的异常行为视觉表征及所述异常行为视频片段中各时间步的知识感知上下文向量,采用异常行为视频描述生成模型,生成所述异常行为视频片段的描述语句;

所述异常行为视频描述生成模型采用以下公式生成异常行为视频片段其中,

2.根据权利要求1所述的骨骼关键点知识增强的地铁乘客异常行为视频描述方法,其特征在于,采用视频分割算法BSN++对所述地铁异常行为视频进行分割,得到多个异常行为视频片段。

3.根据权利要求1所述的骨骼关键点知识增强的地铁乘客异常行为视频描述方法,其特征在于,采用人体骨骼关节点提取算法OpenPose-slim提取各异常行为视频片段中各乘客的骨骼关节点。

4.根据权利要求1所述的骨骼关键点知识增强的地铁乘客异常行为视频描述方法,其特征在于,基于地铁领域知识构建异常行为知识图谱,具体包括:基于地铁领域知识,融合ConceptNet5.5数据集及Subway数据集中的地铁乘客异常行为,使用地铁乘客异常行为与乘客骨骼关节点构建异常行为知识图谱。

5.根据权利要求1所述的骨骼关键点知识增强的地铁乘客异常行为视频描述方法,其特征在于,多个异常行为类别分别为:翻越逃票、下钻逃票、尾随逃票、楼梯摔倒、楼梯奔跑、扶梯逆行、将身体探出扶梯外和扶手滑倒;

每个骨骼关节点的多个属性特征分别为:骨骼关节点组成的夹角、骨骼关节点间的夹角变化量、骨骼关节点的加速度、骨骼关节点与骨架重心间的距离和骨骼关节点的偏移量。