1.一种基于多源异构数据和多模态数据的风险预测方法,其特征在于,包括:获取待检测用户数据;所述待检测用户数据包括多源异构数据和多模态数据;所述多源异构数据为不同数据源的数据;所述多模态数据为不同表达形式的数据;
根据多源异构数据的数据源类别对所述多源异构数据进行处理,获得数据表文件;对所述数据表文件中的数据进行结构化特征提取,获得待检测结构化特征;
利用非结构化特征提取模型,对所述多模态数据进行特征提取,生成待检测非结构化特征;
基于所述待检测结构化特征和所述待检测非结构化特征,生成待检测融合特征;
将所述待检测融合特征输入预设的风险预测模型,生成风险检测结果;
根据多源异构数据的数据源类别对所述多源异构数据进行处理,获得数据表文件;对所述数据表文件中的数据进行结构化特征提取,获得待检测结构化特征,包括:通过不同数据源类别对应的脚本文件,对所述多源异构数据分别进行转换处理,获得不同数据源类别对应的预设格式文件;
读取不同数据源类别对应的所述预设格式文件中的数据,并将读取出的数据按照所述数据源类别分别存储至分布式文件系统中对应的数据块;
利用所述数据块对应的键,将多个所述数据块进行等值链接,获得所述数据表文件;
根据所述数据表文件中的数据,以及预设指标的统计频次,生成所述待检测结构化特征。
2.根据权利要求1所述的方法,其特征在于,所述非结构化特征提取模型包括行为特征提取模型、图像特征提取模型、活体特征提取模型、语音特征提取模型以及文本特征提取模型中的至少一个。
3.根据权利要求2所述的方法,其特征在于,所述行为特征提取模型的构建步骤包括:基于预设设置的页面埋点事件采集用户行为训练数据,所述用户行为训练数据的类别包括用户输入速度,页面点击速度,表单信息填写速度和页面滑动速度中的至少一项;
按照用户行为训练数据的类别以及预设的时间间隔,将所述用户行为训练进行切片处理,获得切片数据;
利用所述切片数据训练预设的神经网络,获得所述行为特征提取模型;所述行为特征提取模型用于对所述多模态数据中的操作行为数据进行特征提取。
4.根据权利要求2所述的方法,其特征在于,所述图像特征提取模型的构建步骤包括:分别对用户的证件正面图像、证件反面图像和人像图像进行特征提取,获得证件正面图像特征、证件反面图像特征和人像图像特征;
将所述证件正面图像特征、所述证件反面图像特征和所述人像图像特征进行特征融合,生成图像融合特征;
利用视觉神经网络模型对所述图像融合特征进行特征提取,获得图像编码特征;所述视觉神经网络模型包括多头自注意力机制;
利用所述图像编码特征和损失函数训练预设的神经网络,获得所述图像特征提取模型;所述图像特征提取模型用于对所述多模态数据中的图片数据进行特征提取。
5.根据权利要求2所述的方法,其特征在于,所述非结构化特征提取模型包括所述活体特征提取模型;利用非结构化特征提取模型,对所述多模态数据进行特征提取,生成待检测非结构化特征,包括:从所述多模态数据中获取视频数据的图像帧;
通过所述活体特征提取模型的人脸检测层对所述图像帧进行人脸检测,获得人脸图像;
通过所述活体特征提取模型的人脸特征提取层对所述人脸图像进行特征提取,获得人脸特征;
通过所述活体特征提取模型的整体特征提取层对所述图像帧进行特征提取,获得整体图像特征;
通过所述活体特征提取模型的特征聚合层,将所述人脸特征和所述整体图像特征进行求和计算,获得聚合后的特征;
将所述视频数据的图像帧对应的所述聚合后的特征,依次输入所述活体特征提取模型的长短期记忆模块,获得时序特征;所述长短期记忆模块用于学习所述聚合后的特征之间的时间依赖关联;
基于预先设置的所述视频数据中所述图像帧的权重,将所述图像帧对应的所述时序特征进行加权处理,获得视频数据特征;将所述视频数据特征作为所述待检测非结构化特征。
6.根据权利要求2所述的方法,其特征在于,所述非结构化特征提取模型包括所述语音特征提取模型;利用非结构化特征提取模型,对所述多模态数据进行特征提取,生成待检测非结构化特征,包括:获取所述多模态数据中的业务语音数据;
利用所述语音特征提取模型中的拼接层对所述业务语音数据进行拼接,获得拼接语音;
利用所述语音特征提取模型中的语音切片层将所述拼接语音按照预设的时间间隔进行切片,获得语音切片;
利用所述语音特征提取模型中的语音特征提取层对所述语音切片进行处理,获得语音切片特征;
将所述语音切片特征进行矩阵化,生成语音特征二维矩阵;将所述语音特征二维矩阵作为所述待检测非结构化特征。
7.根据权利要求2所述的方法,其特征在于,所述非结构化特征提取模型包括所述文本特征提取模型;利用非结构化特征提取模型,对所述多模态数据进行特征提取,生成待检测非结构化特征,包括:从所述多模态数据中获取待识别文本;所述待识别文本通过文本框输入、光学字符识别和/或语音转换获得;
对所述待识别文本进行分词处理,并将分词后的文本进行排列,获得分词集合;
利用所述文本特征提取模型,对所述分词集合中的所述分词进行文本特征提取,获得文本特征向量;
将所述文本特征向量组合为文本二维矩阵;将所述文本二维矩阵作为所述待检测非结构化特征。
8.根据权利要求1所述的方法,其特征在于,基于所述待检测结构化特征和所述待检测非结构化特征,生成待检测融合特征,包括:根据所述待检测用户数据的标识信息,将所述待检测结构化特征和所述待检测非结构化特征进行融合处理,生成所述待检测融合特征;所述融合处理包括相加处理、拼接处理、线性融合或非线性融合中的至少一项。
9.根据权利要求1-8任一所述的方法,其特征在于,在将所述待检测融合特征输入预设的风险预测模型,生成风险检测结果之前,所述方法还包括:获取用户样本数据;所述用户样本数据包括多源异构样本数据和多模态样本数据;
对所述多源异构样本数据进行处理,获得样本数据表文件,基于所述样本数据表文件中的数据进行结构化特征提取,获得样本结构化特征;
按照所述多模态样本数据的数据类型,分别对所述多模态样本数据进行非结构化特征提取,获得样本非结构化特征;
将所述样本结构化特征和所述样本非结构化特征进行融合,获得样本融合特征;
基于所述样本融合特征以及所述样本融合特征的标签,训练预设的机器学习模型,生成所述风险预测模型。
10.一种基于多源异构数据和多模态数据的风险预测装置,其特征在于,包括:获取用户数据模块,用于获取待检测用户数据;所述待检测用户数据包括多源异构数据和多模态数据;所述多源异构数据为不同数据源的数据;所述多模态数据为不同表达形式的数据;
异构数据处理模块,用于根据多源异构数据的数据源类别对所述多源异构数据进行处理,获得数据表文件;对所述数据表文件中的数据进行结构化特征提取,获得待检测结构化特征;
多模态数据处理模块,用于利用非结构化特征提取模型,对所述多模态数据进行特征提取,生成待检测非结构化特征;
特征融合模块,用于基于所述待检测结构化特征和所述待检测非结构化特征,生成待检测融合特征;
风险预测模块,用于将所述待检测融合特征输入预设的风险预测模型,生成风险检测结果;
所述异构数据处理模块,具体用于通过不同数据源类别对应的脚本文件,对所述多源异构数据分别进行转换处理,获得不同数据源类别对应的预设格式文件;读取不同数据源类别对应的所述预设格式文件中的数据,并将读取出的数据按照所述数据源类别分别存储至分布式文件系统中对应的数据块;利用所述数据块对应的键,将多个所述数据块进行等值链接,获得所述数据表文件;根据所述数据表文件中的数据,以及预设指标的统计频次,生成所述待检测结构化特征。
11.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的方法。
12.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至9任一所述的方法。