欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022109418417
申请人: 山西大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种记录图形绘制过程信息的方法,其特征在于,所述方法包括:获取待测者绘制图形时的过程信息和待测者的面部视频;所述过程信息包括每一笔的起始位置、每一笔的停止位置、每一笔的起始时间、每一笔的停止时间和每一笔的轨迹长度;

根据所述待测者的面部视频,确定所述待测者绘制过程中的目光特征;具体包括:提取所述待测者的面部视频中的单帧图像;

对所述单帧图像应用YOLO目标检测算法,得到所述待测者的睁眼的眼部图片;

应用卷积神经网络对所述睁眼的眼部图片进行分析,得到眼球定位特征;

根据所述眼球定位特征,确定所述待测者的当前的行为;所述当前的行为包括看样图和绘图;

记录所述待测者看样图的时刻和绘图的时刻;

根据所述看样图的时刻和所述绘图的时刻,确定目光特征;

所述目光特征包括目光焦点切换次数、目光焦点切换频率、绘图时间和观察样图时间;

对所述过程信息进行特征提取,得到所述待测者的图形特征和过程特征;

对所述图形特征、所述过程特征和所述目光特征进行拼接,得到所述待测者的图形绘制特征;

将所述图形绘制特征输入训练好的神经网络模型,预测所述待测者的认知障碍结果;所述认知障碍结果包括是否存在认知障碍以及认知障碍的级别。

2.根据权利要求1所述的记录图形绘制过程信息的方法,其特征在于,所述神经网络模型的训练过程包括:获取测试者绘制图形时的过程信息和测试者的面部视频;

根据所述测试者的面部视频,确定所述测试者绘制过程中的目光特征;

对所述过程信息进行特征提取,得到所述测试者的图形特征和过程特征;

对所述图形特征、所述过程特征和所述目光特征进行拼接,得到所述测试者的图形绘制特征;

根据所述测试者对量表的打分,确定所述测试者的认知障碍结果;

以所述测试者的图形绘制特征为输入,以所述测试者的认知障碍结果为输出,对神经网络模型进行训练,得到训练好的神经网络模型。

3.根据权利要求1所述的记录图形绘制过程信息的方法,其特征在于,所述对所述过程信息进行特征提取,得到所述待测者的图形特征和过程特征,具体包括:将所述过程信息按照设定时间长度进行分段,统计每个时间段内的笔画、思考时间和绘制时间,得到初始过程特征;

根据待测者绘制完成的图形提取初始图形特征;所述图形特征包括图形面积、图形位置、图形绘制时间、图形思考时间和笔画长度;

对所述初始过程特征和所述初始图形特征分别进行降维,得到所述待测者的图形特征和过程特征。

4.一种记录图形绘制过程信息的系统,其特征在于,所述系统包括:获取模块,用于获取待测者绘制图形时的过程信息和待测者的面部视频;所述过程信息包括每一笔的起始位置、每一笔的停止位置、每一笔的起始时间、每一笔的停止时间和每一笔的轨迹长度;

目光特征确定模块,用于根据所述待测者的面部视频,确定所述待测者绘制过程中的目光特征;具体包括:单帧图像提取子模块,用于提取所述待测者的面部视频中的单帧图像;

眼部图片确定子模块,用于对所述单帧图像应用YOLO目标检测算法,得到所述待测者的睁眼的眼部图片;

分析子模块,用于应用卷积神经网络对所述睁眼的眼部图片进行分析,得到眼球定位特征;

行为确定子模块,用于根据所述眼球定位特征,确定所述待测者的当前的行为;所述当前的行为包括看样图和绘图;

记录子模块,用于记录所述待测者看样图的时刻和绘图的时刻;

目光特征确定子模块,用于根据所述看样图的时刻和所述绘图的时刻,确定目光特征;

所述目光特征包括目光焦点切换次数、目光焦点切换频率、绘图时间和观察样图时间;

特征提取模块,用于对所述过程信息进行特征提取,得到所述待测者的图形特征和过程特征;

拼接模块,用于对所述图形特征、所述过程特征和所述目光特征进行拼接,得到所述待测者的图形绘制特征;

预测模块,用于将所述图形绘制特征输入训练好的神经网络模型,预测所述待测者的认知障碍结果;所述认知障碍结果包括是否存在认知障碍以及认知障碍的级别。

5.根据权利要求4所述的记录图形绘制过程信息的系统,其特征在于,所述系统还包括训练模块;所述训练模块包括:获取子模块,用于获取测试者绘制图形时的过程信息和测试者的面部视频;

目光特征确定子模块,用于根据所述测试者的面部视频,确定所述测试者绘制过程中的目光特征;

特征提取子模块,用于对所述过程信息进行特征提取,得到所述测试者的图形特征和过程特征;

拼接子模块,用于对所述图形特征、所述过程特征和所述目光特征进行拼接,得到所述测试者的图形绘制特征;

结果确定子模块,用于根据所述测试者对量表的打分,确定所述测试者的认知障碍结果;

训练子模块,用于以所述测试者的图形绘制特征为输入,以所述测试者的认知障碍结果为输出,对神经网络模型进行训练,得到训练好的神经网络模型。

6.根据权利要求4所述的记录图形绘制过程信息的系统,其特征在于,所述特征提取模块包括:分段子模块,用于将所述过程信息按照设定时间长度进行分段,统计每个时间段内的笔画、思考时间和绘制时间,得到初始过程特征;

初始图形特征提取子模块,用于根据待测者绘制完成的图形提取初始图形特征;所述图形特征包括图形面积、图形位置、图形绘制时间、图形思考时间和笔画长度;

降维子模块,用于对所述初始过程特征和所述初始图形特征分别进行降维,得到所述待测者的图形特征和过程特征。