1.一种流程模型图的多语言文本及语音生成方法,其特征在于:采用流程模型图的识别与理解模块、流程模型的带注释流程结构树生成模块和流程模型的多语言文本及语音生成模块;
流程模型图的识别与理解模块,被配置为识别流程模型图中的模型元素、节点文本和有向边,最后将识别的流程模型存储为标准流程模型文件;
流程模型的带注释流程结构树生成模块,被配置为使用多语言语义依存分析、多语言翻译、翻译结果筛选和跨语言语法结构调整解析模型元素文本信息,使用RPST算法解析流程模型结构,然后使用带注释流程结构树存储流程结构信息和模型元素文本信息;
流程模型的多语言文本及语音生成模块,被配置为划分带注释流程结构树,然后从带注释流程结构树生成多语言文本,最后使用语音合成技术将多语言文本转变为多语言语音;
所述的流程模型图的多语言文本及语音生成方法,包括如下步骤:步骤1:流程模型图的识别与理解;
步骤2:流程模型的带注释流程结构树生成;
步骤3:流程模型的多语言文本及语音生成;
在步骤1中,具体包括如下步骤:步骤1.1:模型元素识别;即识别流程模型图中包括活动、任务、事件、网关、箭头在内的模型元素;
首先构造模型元素的基本图元模板,图元模板包括图片模板、模型元素类型、模型元素宽度和模型元素高度;然后使基本图元模板在流程模型图中滑动,计算图片模板与流程模型图重叠区域的相似度,选择相似度最高的若干区域作为模型元素识别结果,并从识别结果中去除重复识别区域和错误识别区域;
步骤1.2:模型节点文本识别;
获取所有包含文本的节点的位置和尺寸,然后使用图片切割获取节点所在区域的小图片,最后使用OCR文字识别技术识别图片中的文字,即模型节点的文本;
步骤1.3:模型节点有向边识别;
对流程模型图做灰度处理,获得流程模型图中每个像素点的灰度值,生成流程模型图的灰度值矩阵,最后根据箭头的位置和模型节点的位置,在灰度值矩阵中遍历找到有向边的开始节点和结束节点;
步骤1.4:流程模型存储;
在流程模型存储中,根据流程模型图片中模型类型和标准流程模型文件标准,使用xml的读写库tinyxml将识别的流程模型存储为标准流程模型文件;
输入:流程模型图中识别的模型节点集合和有向边集合;
输出:标准流程模型文件;
具体包括如下步骤:
步骤1.4.1:设置存储的文件名和编码方式;
步骤1.4.2:向标准文件中写入流程模型节点的信息,在写入流程模型节点时,设置节点类型、节点标识和节点文本,同时存储节点的输入边和输出边信息;
步骤1.4.3:向标准文件中写入边的信息,在写入流程模型有向边的信息时设置边的标识、输入节点和输出节点;
步骤1.4.4:输出标准流程模型文件;
在步骤3中,具体包括如下步骤:步骤3.1:带注释流程结构树的划分;
根据带注释流程结构树中文本信息的长度和结构复杂度,将带注释流程结构树划分成多个子树,保证每个子树生成的文本长度不超过语音生成的最长长度;
步骤3.2:多语言文本生成;
遍历带注释流程结构树,使用深度语法树组织多语言文本信息,并使用多语言句子模版描述流程模型结构,然后对生成的多语言文本进行主语聚合、动词聚合、宾语聚合,生成流程模型的多语言文本;
步骤3.3:多语言语音生成;
使用语音合成技术,设置语音合成的文本、语种、语速参数,然后从多语言文本生成流程模型的多语言语音。
2.根据权利要求1所述的流程模型图的多语言文本及语音生成方法,其特征在于:在步骤2中,具体包括如下步骤:
步骤2.1:流程模型预处理;
识别模型元素文本的语种,构建描述流程模型中包括选择、并发、循环结构的多语言文本模板,构建流程模型中各个领域专业术语的多语言表达;
步骤2.2:模型元素文本解析;
获取模型元素文本信息,使用多语言语义依存技术解析文本获得主语、动词、宾语、从句,然后使用多语言翻译技术翻译文本信息,并使用翻译结果筛选技术和跨语言语法结构调整优化翻译结果,生成模型元素多语言文本信息;
步骤2.3:模型结构解析;
获取流程模型的结构,对流程模型结构遍历,使用RPST算法划分流程模型结构,生成流程结构树;
步骤2.4:带注释流程结构树生成;
将模型元素文本解析的多语言文本信息加入流程结构树,生成带注释的流程结构树。
3.根据权利要求1所述的流程模型图的多语言文本及语音生成方法,其特征在于:在步骤3.1中,带注释流程结构树的划分,具体包括如下步骤:输入:流程模型的带注释流程结构树;
输出:流程模型的带注释流程结构子树链表;
步骤3.1.1:遍历带注释流程结构树的所有孩子节点,对于遍历到的节点,将按照其在带注释流程结构树中的顺序将孩子节点存入临时带注释流程结构树中;
步骤3.1.2:统计临时带注释流程结构树中文本信息的长度和复杂结构的数量;当临时带注释流程结构树中文本信息数量超过200或包含的复杂结构数目超过10个,将临时带注释流程结构树存入划分结果链表中,同时重新初始化临时带注释流程结构树,为之后构造带注释流程结构子树做准备。
4.根据权利要求1所述的流程模型图的多语言文本及语音生成方法,其特征在于:在步骤3.3中,多语言语音生成,具体包括如下步骤:输入:流程模型的文本链表和文本语种;
输出:流程模型文本的语音输出;
步骤3.3.1:初始化Voice RSS的转换参数;
步骤3.3.2:设置文件格式、音频格式、SSML 文本格式、语速、语种参数;
步骤3.3.3:使用Voice RSS提供的方法将文本转换为语音,并使用写文件方法生成语音文件。