欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 201710668415X
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于虚拟现实与增强现实的采矿操作多交互实现方法,其特征在于:采用井下采矿操作多交互仿真系统,该系统包含虚拟现实模式和增强现实模式两种模式;虚拟现实模式包含特定场景的建模、漫游、模型及其材质的更换、视频嵌入虚拟场景、模型移动、应用场景意向交互、二维码生成以及语音交互;增强现实模式包含模型选择、模型讲解、动态模型演示、手势控制模型交互、截图生成图标、360度旋转以及停止、功能模式切换以及功能扩展;系统设计了两种隐藏菜单,即虚拟现实模式下的更换模型、材质的选择菜单以及增强现实模式下的模型选择类菜单;第一种用户进入特定区域菜单才会显示,离开即会隐藏;第二种点击便可在某处显示二级菜单,再次点击菜单隐藏;

所述的采矿操作多交互实现方法,具体包括如下步骤:

步骤1:矿山开采操作的整个环境场景的搭建

根据井下采矿操作的真实环境,利用建模工具3DMax进行1∶1等比建模,实现整个井下采矿操作的环境模拟;利用UE4引擎对模型进行包括创建、编辑贴图以及材质在内的编辑,添加物理碰撞,对整体环境进行灯光、效果光照以及特效添加,并进行烘焙、渲染;

步骤2:虚拟现实应用场景的漫游

在UE4引擎中,设置键盘上、下、左、右键,绑定Up、Down、Right、Left方向控制函数,为鼠标绑定Turnaround控制函数,实现整个井下采矿操作的虚拟现实场景的漫游;

步骤3:更换井下采矿操作的工具模型以及矿山地质的模拟材质在虚拟井下矿山开采场景中添加隐藏菜单,当漫游至矿石开采处,会自动出现模型或者材质选择菜单,用户可以根据需求从菜单中选择模型或者材质进行更换;

步骤4:将视频素材嵌入三维应用场景并控制播放、停止

将视频素材嵌入虚拟现实场景,在三维空间中播放,模拟矿山开采环境的监控显示设备,设置键盘X键,绑定UE4平台的MediaPlayer媒体类,通过OpenSource和Close函数控制视频的播放和停止;

步骤5:选择模型并移动到任意位置

通过鼠标选中模型并将模型移动到任意需要进行模拟操作的位置,达到真实场景中的机械移动模拟;

步骤6:实现应用场景的意向交互

当用户在虚拟现实应用场景中漫游至某一特定位置,系统检测到用户有意向进入,就自动开启环境灯,实现虚拟场景中的自然交互;

步骤7:二维码生成

绑定键盘的F键,添加二维码生成函数,设置键盘按键控制生成二维码功能,用户按键盘F键,系统生成含设置好采样点的虚拟场景全景图的二维码;

步骤8:实现语音交互

用户通过包括正转、反转、升臂、降臂、停止在内的关键词控制虚拟现实场景中的采煤机,模拟其运作效果;

步骤9:AR动态演示功能模式切换

用户点击系统右上角的AR模式按键切换到AR演示模式。

2.根据权利要求1所述的基于虚拟现实与增强现实的采矿操作多交互实现方法,其特征在于:在步骤3中,将模型实例化为具体的Actor,添加SetMesh函数以及SetMaterial函数来更换模型和模型材质,设置Widget Blueprint用户界面以及Box collision碰撞检测,实现三维空间的隐藏菜单功能。

3.根据权利要求1所述的基于虚拟现实与增强现实的采矿操作多交互实现方法,其特征在于:在步骤5中,为要操作的模型添加鼠标事件,通过GetHitResult函数将模型选中,然后根据鼠标在三维空间的坐标,改变模型的SetActorLocation函数的坐标值,当鼠标再次点击,将此时鼠标x、y、z三个方向的坐标值赋给模型,此时GetHitResult函数将模型设置为取消选中模式。

4.根据权利要求1所述的基于虚拟现实与增强现实的采矿操作多交互实现方法,其特征在于:在步骤6中,设置TriggerBox触发器,当第一人称角色触发TriggerBox,系统检测到用户有意向进入某区域,便会自动启用此区域的某个设备。

5.根据权利要求1所述的基于虚拟现实与增强现实的采矿操作多交互实现方法,其特征在于:在步骤7中,用户按键盘F键,系统生成含设置好采样点的虚拟场景全景图二维码,用户用手机扫描二维码,跳转到手机端的虚拟应用场景展示页面,在手机端,用户启用陀螺仪,切换到VR分屏模式,设置好手机参数,便用VR眼镜体验虚拟井下采矿操作环境场景,实现720度的视角展示,还能够实现手机端的多场景、多角度的漫游体验。

6.根据权利要求1所述的基于虚拟现实与增强现实的采矿操作多交互实现方法,其特征在于:在步骤8中,语音识别基于Pocket-sphinx库实现,通过改进中文关键字字典,经过预处理、特征提取、声学模型训练、语言模型训练以及语音解码和搜索实现识别功能,最后经过UE4引擎的编写功能控制函数实现三维空间里语音对模型的控制;语音识别的具体实现步骤如下:步骤8.1:预处理

对输入的原始语音信号进行处理,滤除掉其中的不重要的信息以及背景噪声,并对语音信号的端点检测、语音分帧和预加重进行处理;

通过一阶FIR高通数字滤波器来实现预加重,一阶FIR高通数字滤波器的传递函数为:H(z)=1-az-1;

其中,a为预加重滤波器的系数,取值范围为0.9~1.0,若设n时刻的语音采样值为x(n),则预加重后的信号为y(n)=x(n)-a*x(n-1);

步骤8.2:特征提取

通过梅尔频率倒谱系数(MFCC)的方法来进行特征提取;具体按照如下步骤进行:步骤8.2.1:利用人听觉的临界带效应,采用MEL倒谱分析技术对语音信号处理得到MEL倒谱系数矢量序列;

步骤8.2.2:用MEL倒谱系数矢量序列表示输入语音的频谱,在语音频谱范围内设置若干个具有三角形或正弦形滤波特性的带通滤波器;

步骤8.2.3:通过带通滤波器组,求各个带通滤波器的输出数据;

步骤8.2.4:对各个带通滤波器的输出数据取对数,并做离散余弦变换(DCT);

步骤8.2.5:得到MFCC系数;求解公式如下:

其中,Ci为特征参数,k为变量,1≤k≤P;P为三角滤波器的个数,F(k)为各个滤波器的输出数据,i为数据长度;

步骤8.3:声学模型训练

根据训练语音库的特征参数训练出声学模型参数;

在识别时将待识别的语音的特征参数同声学模型进行匹配,得到识别结果;声学模型采用混合高斯模型-隐马尔科夫模型(GMM-HMM)实现,具体包括如下步骤:步骤8.3.1:求出混合高斯模型的联合概率密度函数的形式如下:其中,M表示混合高斯模型中高斯的个数,Cm表示权重,um表示均值,∑m表示协方差矩阵,D为观测矢量维数;利用最大期望值算法(EM)对混合高斯模型参数变量Θ={Cm,um,∑m}进行估计,利用如下公式求解:其中,j是当前迭代轮数,N表示训练数据集中元素的个数,x(t)为t时刻的特征向量,hm(t)表示t时刻Cm的后验概率;GMM参数通过EM算法进行估计,使其在训练数据上生成语音观察特征的概率最大化;

步骤8.3.2:求解HMM的三个组成部分

设状态序列为q1,q2,...,qN,令转移概率矩阵A=[aij]i,j∈[1,N],则求出的马尔科夫链状态间的跳转概率为:aij=P(qt=j|qt-1=i);马尔科夫链的初始概率π=[πi]i∈[1,N],其中,πi=P(q1=i);令每个状态的观察概率分布bi(ot)=P(ot|qt=i),采用GMM模型来描述状态的观察概率分布;根据步骤8.3.1,求解公式为:其中,N为状态个数,i、j表示状态,aij表示t-1时刻从i状态跳转到t时刻j状态的概率,ot为t时刻的观测值,Ci,m为混合系数,表示不同高斯之间的权重,ui,m表示不同高斯之间的均值,∑i,m表示不同高斯之间的协方差矩阵;HMM的参数通过Baum-Welch算法进行估计得出,最后生成声学模型文件;

步骤8.4:语言模型训练

采用N-Gram模型实现语言模型的训练;在一个语句中第i个词出现的概率,条件依赖于它前面的N-1个词,即将一个词的上下文定义为该词前面出现的N-1个词,其表达式为:使用条件概率公式S将上述表达式替换成如下公式:

P(sentence)=P(w1)*P(w2|w1)*P(w3|w2)...*P(wn|w1,w2,...,wn-1)其中,P(w1)是w1在文章中出现的概率,P(w1,w2)是w1,w2连续出现的概率,P(w2|w1)是已知w1已出现的情况下出现w2的概率,假设识别sentence的概率用P(s)表示,P(s)=P(w1,w2,...,wn)表示单词集w1,w2,...,wn连续出现并生成S的概率;

通过马尔科夫假设精简成如下公式:

P(sentence)=P(w1)*P(w2|w1)*P(w3|w2)...*P(wn|wn-1)其中,P(wi|wi-1)=P(wi-1,wi)/P(wi),P(wi-1,wi)和P(wi)从语料统计出来,最终就能得到P(sentence),语言模型存储P(wi-1,wi)的概率统计值,通过求出P(sentence)的最大值来实现整个识别过程;

步骤8.5:语音解码和搜索算法

针对输入的语音信号,根据已经训练好的声学模型、语言模型及利用g2p工具创建好的字典映射文件建立一个识别网络,根据搜索算法在该网络中寻找最佳的一条路径,这个路径就是能够以最大概率输出该语音信号的词串,这样就确定这个语音样本所包含的文字,语音解码采用Viterbi算法实现,具体过程如下:步骤8.5.1:输入HMM模型的参数和观测序列O={o1,o2,...,oT},则t=1时所有的状态概率为:δ1(i)=πibi(o1)

ψ1(i)=0

步骤8.5.2:逐渐递推到t=2,3,...,T,则为:步骤8.5.3:终止遍历:

步骤8.5.4:回溯最优路径,t=T-1,T-2,...,1;

步骤8.5.5:输出最优隐状态路径

其中,δt(i)是递推到t时刻,最优路径经过的所有结点的联合概率,ψt(i)是t时刻的隐*状态,T为时间,P为最优路径的概率,为最优路径的终结点。

7.根据权利要求6所述的基于虚拟现实与增强现实的采矿操作多交互实现方法,其特征在于:a取0.97。

8.根据权利要求1所述的基于虚拟现实与增强现实的采矿操作多交互实现方法,其特征在于:在步骤9中,具体包括如下步骤:步骤9.1:模型选择

对采煤机模型、掘进机模型、风煤钻模型以及综采支架模型进行选择,每一类模型都是对真实采煤工具的1∶1建模模拟;

步骤9.2:模型讲解

用户通过选择模型后,再通过增强现实模式下的模型选择类菜单选择需要学习的工具模型选项,系统会播放对应的语音讲解,再次点击按键语音停止;

步骤9.3:模型演示

将在3DMax建模过程中制作的工具模拟运行动画导入UE4引擎中,设置相应的选择菜单,点击便可在AR模式下演示相应采煤工具的运行状态;

步骤9.4:截图生成图标

在AR模式的主菜单,添加一个按钮,绑定摄像机的截图功能,在菜单右侧添加滚动菜单栏,当截图函数成功触发,截图通过设置好的动态材质转换函数,显示到右侧滚动菜单栏,演示过程中,用户点击截图按键,系统会在界面一侧生成图标;

步骤9.5:旋转

将设置的模型实例化为一个Actor,添加Rotation函数,实现模型顺时针旋转;

步骤9.6:功能扩展

添加二级UI,控制Map切换,实现包括地球、土星、水星、含大气层星球以及星系在内的运行演示功能;添加WidgetBlueprint编码实现了知识简介面板的显示或隐藏;设计返回键回到AR编辑主模块;

步骤9.7:动态手势控制模型,真实环境与虚拟模型叠加,手势与模型进行交互控制,具体包括如下步骤:步骤9.7.1:初始化视频捕捉,读取标志文件和摄像相机参数;

步骤9.7.2:抓取视频帧图像;

步骤9.7.3:执行探测标记以及识别视频帧中的标记模板,并利用OpenCV库函数对获取的视频帧图像进行运动检测,判断是否检测到运动轨迹;

若:判断结果是检测到手势运动轨迹,则执行步骤9.7.4;

或判断结果是没有检测到运动轨迹,则继续执行探测标记以及识别视频帧中的标记模板,然后执行步骤9.7.12;

基于颜色直方图与背景差分进行运动检测,对采集的帧以及对每帧运动检测后得到除运动手势区域外的像素做背景更新,公式如下;

其中,ut为背景图像相应的像素点,ut+1为更新后的背景图像像素点;It为当前帧图像的像素点,If是当前帧图像像素点的掩码值,即是否做背景更新;a∈[0,1]为背景图像模型更新速度;

步骤9.7.4:对图像进行包括去噪在内的预处理;

通过运动检测步骤,如果检测到有运动信息,则开始对含有运动手势的视频帧图像进行预处理:通过OpenCV的medianBlur函数对图像进行中值滤波,去除椒盐噪声;

步骤9.7.5:转换到HSV空间;

通过cvtColor函数对图像进行颜色空间转换,得到其HSV空间的数据,并对HSV空间中的亮度v值重新设定如下式所示:其中,r、g为肤色区域的红色与绿色像素,且r>g;

步骤9.7.6:分割手区域;

步骤9.7.7:进行形态学处理,去除杂点;

将得到的运动二值图和通过反投影得到的二值图相与,并进行图像形态学闭操作得到比较完整的运动肤色手势二值图;并去除图像中的杂点;

步骤9.7.8:获取手轮廓;

通过初步的形态学操作,去除噪声,并使手的边界更加清晰后,通过OpenCV的findContours函数得到手势轮廓,然后进行去除伪轮廓操作;

步骤9.7.9:画出手轮廓,标定信息;

步骤9.7.10:轮廓信息比较,设置方向向量;

将每一帧得到的轮廓进行比较,设定比较条件,通过比较给方向标志变量赋值;

步骤9.7.11:对模型根据矢量坐标进行受力模拟,实现动态手势与虚拟模型的交互;

动态手势通过轮廓判断后,根据不同的判断结果对虚拟模型进行受力模拟操作,根据轮廓判断过程中方向标记的值,模型在三维空间的坐标值将会进行x、y、z三个坐标轴上的相乘计算,通过坐标值的改变,实现模型位置的改变而达到受力的模拟;

步骤9.7.12:计算摄像头相对于探测到的标记的转换矩阵;

步骤9.7.13:在探测到的标记上叠加虚拟物体,并返回执行步骤9.7.2,实现真实环境与虚拟模型的叠加显示;

步骤9.7.14:当点击VR模式时,系统切换显示模式,摄像头关闭,以上步骤停止执行。