欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019114112876
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于VR技术的视觉训练学习系统,其特征在于:所述系统配合VR眼镜及VR手柄设置;

所述系统包括:

一眼球追踪模块,用于进行用户登录并持续追踪眼球运动轨迹;

一训练模块,用于对用户进行视觉训练的输出并获得用户反馈的训练数据;训练模块包括:一单眼视力增强单元,用于将预设数据呈现在左显示屏或右显示屏上,对单眼进行视觉训练,单眼视力增强单元包括训练内容输出及获取反馈信息;所述单眼视力增强单元包括视觉刺激模块、扫视模块和追随模块;

一双眼视觉训练单元,用于将预设数据呈现在左显示屏和右显示屏上、对双眼进行视觉训练;

一数据模块,用于存储系统所需资料、获取眼球追踪模块传输的信息并分析、获取训练模块的训练数据、设定训练模块的输出内容;数据模块包括数据存储单元、数据设定单元和数据分析单元;

选择单眼视力增强单元,开始训练并记录训练数据,眼球追踪模块追踪眼球运动轨迹,训练数据和眼球运动轨迹数据实时发送给数据分析单元,通过数据分析结果来控制单眼视力增强单元的训练难度;选择双眼视觉训练单元,用户进入数据存储单元选择学习资料,资料会以数据设定单元里的设定方式显示在左显示屏和右显示屏上,需左右眼同时看才能看到完整的学习资料;同时眼球追踪模块把眼球运动轨迹发送至数据分析单元;通过训练模块的单眼视力增强单元来训练弱视眼,待弱视眼视力有提升之后,进入双眼视觉训练单元,在学习的过程中训练双眼视觉;

若进行双眼视力增强训练,则所述数据设定单元的设置包括以下步骤:

步骤B.1:使用训练好的用于区分图片中的文字和图形的二分类神经网络模型,识别数据存储单元里所有文档图像中的图形部分,以图片的左上角为原点,记录下每个图形的左上角坐标点和右下角坐标点,并把坐标值保存至数据设定单元的输出地址中,作为左显示屏和右显示屏输出;

步骤B.2:对数据存储单元里的所有文档图像进行复制,以白色像素块对复制的文档图像中对应步骤B.1识别的图形部分进行覆盖并保存;

步骤B.3:对被白色像素块覆盖掉图形部分的图像进行水平分割,利用文字行之间的空白间隙造成的水平投影空白间隙,将图像按行分割出来,以图片的左上角为原点,记录下每一行的左上角坐标和右下角坐标,将所有奇数行和偶数行的坐标值分别保存至数据设定单元的输出地址中,作为左显示屏和右显示屏输出;

进行双眼视力增强训练时,训练模块获取数据设定单元的配置,训练包括以下步骤:步骤C.1:当用户打开学习资料,通过地址值自数据设定单元读取步骤B.1和步骤B.3的坐标值;

步骤C.2:所述步骤B.3的奇数行坐标值所对应的复制文档图像内容按预设的缩放比例显示在VR眼镜的一显示屏上,偶数行坐标值所对应的复制文档图像内容按预设的缩放比例显示在VR眼镜的另一显示屏上;

步骤C.3:所述步骤B.1所识别的图形文档坐标值所对应的原文档图像内容偏移设置在左显示屏和右显示屏的复制文档图像内容旁,偏移的距离大于0。

2.根据权利要求1所述的一种基于VR技术的视觉训练学习系统,其特征在于:所述眼球追踪模块包括:一眼球识别单元,用于在用户戴上VR眼镜并注视显示屏时捕捉眼球、获取识别数据并提交数据模块进行匹配;

一眼球跟踪单元,用于在用户通过识别后追踪眼球运动轨迹并发送至数据模块。

3.根据权利要求1所述的一种基于VR技术的视觉训练学习系统,其特征在于:所述数据模块包括:一数据存储单元,用于自云端服务器下载并存储对应用户的电子版课本和课外书;

一数据设定单元,用于以预设的方式、将数据存储单元存储的数据展现在VR眼镜的显示屏上;所述VR眼镜的左显示屏与右显示屏的显示内容不同;

一数据分析单元,用于实时分析眼球追踪模块和训练模块的数据、以自适应控制训练难度和生成感兴趣区域图。

4.根据权利要求3所述的一种基于VR技术的视觉训练学习系统,其特征在于:所述数据存储单元还连接有采集单元,采集单元用于用户操作VR眼镜进入实景模式、通过VR眼镜的摄像头及手柄获取图片并存储至数据存储单元。

5.根据权利要求4所述的一种基于VR技术的视觉训练学习系统,其特征在于:所述采集单元采集图片后进行预处理,所述预处理包括以下步骤:步骤A.1:取当前图片的背景图像,与当前图片作差,保留前景图像;

步骤A.2:对所述前景图像进行图像校正,图像校正包括倾斜校正、去阴影、调整曝光度。

6.根据权利要求1所述的一种基于VR技术的视觉训练学习系统,其特征在于:若进行单眼视力增强训练,则所述数据设定单元设置用户弱视眼对应的一显示屏显示训练内容,另一显示屏显示背景,所有训练操作由弱视眼来完成;若用户自数据存储单元选择训练数据,则弱视眼对应的显示屏显示的电子版课本和课外书的缩放比根据用户视力设定,另一显示屏持续显示背景。

7.根据权利要求1所述的一种基于VR技术的视觉训练学习系统,其特征在于:所述数据分析单元的分析方法包括对训练模块反馈的数据分析、对眼球追踪模块反馈的数据分析及生成感兴趣区域图;

所述对训练模块反馈的数据分析包括以下步骤:

步骤D.1.1:记录每一次训练点击的时刻,若较上一次训练,当前点击的正确率上升且反应时间缩短,则训练模块转速增大;重复步骤D.1.1直至训练模块达到最大转速,进行下一步;

步骤D.1.2:若在最高转速用户仍能正常操作,则在保持最高转速的情况下增加CAM条栅的空间频率;

步骤D.1.3:若用户无法在增加空间频率后正常操作,则保持当前CAM条栅的空间频率,降低转速,直至找到适应用户的转速值,返回步骤D.1.1;

所述对眼球追踪模块反馈的数据分析中,眼球追踪模块将眼球运动轨迹实时发送至数据分析单元,数据分析单元把接收到的眼球运动轨迹数据与预设的运动轨迹进行比较,若发现用户的眼球运动轨迹与预设的运动轨迹间的偏离距离大于阈值,则在VR眼睛的显示屏上闪烁光点、对用户进行提醒;

所述生成感兴趣区域图包括以下步骤:

步骤D.2.1:训练模块将眼球追踪模块记录的眼球运动轨迹发送到数据分析单元;

步骤D.2.2:数据分析单元根据眼球运动轨迹数据,计算眼球运动轨迹数据在显示屏中重复率最高的区域;

步骤D.2.3:以当前区域作为用户的感兴趣区域。