欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023104830689
申请人: 兰州理工大学
专利类型:发明专利
专利状态:未下证
专利领域: 信号装置
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于Transformer的扩散图注意力网络交通流预测方法,所述的交通流组合预测方法采用Transformer编码器‑解码器架构,其中编码器和解码器包含多个时空卷积网络模块和扩散图注意力模块;时空卷积网络模块通过时间门控卷积网络和空间卷积网络分别捕获交通流的时间依赖性和空间相关性,扩散图注意力模块利用查询键值自注意力机制自适应学习每个扩散步的扩散参数,并动态更新邻接转移矩阵,以捕获交通流的动态时空相关性;解码器增加信息辅助模块,以聚合编码器和解码器之间的交通流信息,最后,通过解码器输出预测序列进行预测;

其中编码器和解码器分别有L‑1层和L‑1层;给定所述交通流预测方法的输入X{t‑T′+1,...,t}和邻接矩阵A,首先将它们分别转换为特征矩阵 和transition矩阵其中, D表示A具有自环的度矩阵: 和 分别表示X{t‑T+1,...,t}的编码器和解码器的加权矩(1)阵, 和 分别表示编码器和解码器的偏置;Te 和 分别表示编码器和解码器的邻接transition矩阵;通过 计算交通流预测的结果,其中 表示全连接层的transformation矩阵,表示相应的偏差;将最后一层编码器的输出 和 输入到每一层解码器的Diffusion Attention模块,以聚合编码器和解码器之间的交通流时空特征信息;

将道路网络表示为图G=(V,E,A),其中V表示一组N个道路网络节点,E表示一组边的集N×N合,A∈R 表示加权邻接矩阵,若vi,vj∈V且(vi,vj)∈E,则Aij为1,否则为0;在每个时间步N×C长t中,给定图G上的交通流Xt∈R ,其中C表示每个节点的特征数;

所述交通流预测方法的学习函数f:将X{t‑T′+1,...,t}作为输入,并预测未来T个时间步长的交通流,映射关系如下所示:

2.根据权利要求1所述的基于Transformer的扩散图注意力网络交通流预测方法,其特征在于时间门控卷积层包含一个一维卷积,使用门控线性单元来捕获交通流的时间依赖性;对于交通网络G中的每个节点,时间卷积以零填充来探索输入元素的相邻时间步长,以使时间维度大小保持不变;给定每个节点的时间卷积输入 它是一个长度为P的序列,具有Din特征,使用一个1D卷积核 核大小为(Kt,1),输入大小Din和输出大小2Dout得到输出 P,Q沿特征维度分成两部分并输入到门控线性单元;时间门控卷积层可以表示为:其中,P,Q分别是门控线性单元中门的输入,⊙表示基于元素的Hadamard乘积,σ(Q)使用Sigmoid函数作为激活函数,选择性的获取隐藏状态和输入X中的信息。

3.根据权利要求1所述的基于Transformer的扩散图注意力网络交通流预测方法,其特征在于图卷积运算基于图结构将邻居节点的特征聚合到中心节点,以更新节点特征,图卷积网络通过一阶近似简化了ChebNet:其中,表示具有自环的归一化邻接矩阵, 表示具有Din特征的N节点的输入图信号, 表示输出, 表示可学习的参数矩阵;基本图卷积网络只适用于无向图,不符合交通网络的有向性质;为了便于有向图上的卷积,扩散卷积可以推广为公式(4)的形式:k

其中,M 表示转移矩阵的幂级数,K表示扩散步数;在有向图中,扩散过程分为前向和后T向两个方向,其中前向转移矩阵为Mf=A/rowsum(A)后向转移矩阵为Mb=A/rowsum(A)。

4.根据权利要求1所述的基于Transformer的扩散图注意力网络交通流预测方法,其特征在于空间卷积层捕获交通流的局部和全局空间依赖关系;使用预定义的加权邻接矩阵在正向和反向的两个方向执行K步扩散卷积,以捕获K阶局部空间依赖关系,对应于公式(4);

形式上,给定空间卷积层 的输入,对输入张量的每个时隙 进行空间卷积运算,该计算过程可以表示为:

其中,W表示与邻接矩阵A进行卷积运算的可学习参数矩阵。

5.根据权利要求1所述的基于Transformer的扩散图注意力网络交通流预测方法,其特征在于扩散图注意力网络编码器,以第l层为例,给定输入 和 输出特征矩阵 如下所示:其中, 表示残差连接, 表示多头扩散注意力, 表示可学习的权重矩阵, 表示线性transformation矩阵;给定 的head数量为H,则有:其中, 表示一个单独的头部扩散注意力,||表示连接运算;k表示扩散步长,K表示最大扩散阶数, 由公式(8)计算:(l) k

其中,θk表示扩散权重系数,对于相应的扩散步(Te ) ,利用Query‑Key‑Value注意力来获得适当的θk,如下所示:其中,WV表示Value的transformation矩阵,view表示矩阵的reshape运算,给定原始矩N×N阵的形状为R ,输出是一个单行向量,其维度为 表示

Query‑Key‑Value注意力的输入序列;eik表示两个不同的扩散步i和k之间的注意力分数,eij表示两个不同的扩散步i和j之间的注意力分数;eij通过公式(10)计算:其中,dqs表示Query的大小,WQ和WK分别表示Query和Key的transformation矩阵;

和 分别表示扩散步i和j的Query‑Key‑Value注意力的输入;

(l+1)

通过残差连接计算输出邻接转移矩阵Te ,如下所示:

其中,表示残差连接, 表示adjacency transition的动态更新部分,其计算如下:其中,m∈[1,M]表示replica索引,M表示replica的数量, 表示 的第i行第j列元素, 表示第m个replica的注意力分数,其计算如下:m

其中,laekyReLU表示激活函数,a (·)表示第m个replica的可学习权重向量; 和表示特征矩阵 的第i行和第j行,分别表示节点i和j的特征向量。

6.根据权利要求1所述的基于Transformer的扩散图注意力网络交通流预测方法,其特征在于用于交通流量预测的时空解码器,接收编码器提取的时空特征,以生成未来的交通流序列;单层解码器由时空卷积模块、扩散图注意力模块以及聚合编码器和解码器之间信息的辅助模块组成;第l层解码器的输入为 和 则第l层解码器的DGA‑Block模块的输出如下所示:其中, 表示多头扩散注意力,其计算过程与公式(7)相同, 表示可学习的权重矩阵, 表示线性transformation矩阵; 和 的计算过程同公式(11)和(12); 和L与 和Te 一起输入到辅助模块中,以聚合编码器和解码器之间的交通流信息;然后,第l层解码器的输出如下所示:其中, 表示扩散注意力,其计算过程与公式(7)类似,扩散参数的计算公式(9)所示,注意力分数计算如公式(10)所示;将 和 分别表示为 的扩散参数和注意力分数,则的计算过程如下:其中, 表示Value的transformation矩阵, 表示输入序列; 由公式(19)计算:

其中,dqs表示Query的大小, 和 分别表示Query和Key的transformation矩阵;

和 分别表示扩散步i和j的Query‑Key‑Value注意力的输入。