欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 201810095119X
申请人: 江苏大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-03-10
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种能利用事件持续时间的高效LSTM设计方法,其特征在于,包括以下步骤:步骤1,使用基于事件持续时间的序列编码方法,将序列数据中所包含的事件及其持续时间信息作为LSTM网络各个时刻的输入;

步骤2,通过高效LSTM隐藏层神经元记忆更新方法,使神经元能够记忆事件的持续时间,合理高效地进行神经元的计算。

2.根据权利要求1所述的一种能利用事件持续时间的高效LSTM设计方法,其特征在于,所述步骤1中,获得各时刻LSTM网络的输入的方法包括以下步骤:步骤1.1,每隔时间间隔α对序列进行采样并由此构建输入高效LSTM的序列编码;

步骤1.2,使用N维向量xt表示高效LSTM在输入时刻t的输入编码,即编码向量,其中N为所有事件的种类,向量xt中的每一元素分别对应一种事件;

步骤1.3,在输入时刻t,判断对应的采样时刻是否有事件j发生,若有,则向量xt中的第j位置置为1;若无,向量xt中的第j位置置为0;由此得到的编码向量xt,即为各时刻LSTM网络的输入。

3.根据权利要求1所述的一种能利用事件持续时间的高效LSTM设计方法,其特征在于:所述步骤2中,高效LSTM隐藏层神经元记忆更新方法包括以下步骤:

步骤2.1,确定LSTM单元中的掩门mask gate和时长duration,mask gate的开、关由网络各时刻输入的变化情况决定,若某一时刻的编码向量xt与上一时刻xt-1不同,此时隐藏层神经元及时更新记忆,mask gate打开;若编码向量xt与xt-1相同,此时神经元记忆无需更新,mask gate关闭,进入保持阶段;每当记忆保持的持续时间增加一个时刻,duration的值增1;

步骤2.2,根据各时刻的mask gate和duration,使用门控选择更新方法计算隐藏层神经元记忆和输出。

4.根据权利要求3所述的一种能利用事件持续时间的高效LSTM设计方法,其特征在于,所述mask gate和duration的计算方法分别如下:其中,mt表示t时刻的mask gate,xt和xt-1分别表示t和t-1时刻的编码向量,dt表示t时刻的duration,在每个记忆保持时刻,duration的值持续累积。

5.根据权利要求3所述的一种能利用事件持续时间的高效LSTM设计方法,其特征在于:所述步骤2.2中门控选择更新方法包括以下步骤:

步骤2.2.1,根据输入编码xt和上一时刻隐藏层输出ht-1,计算LSTM单元的遗忘门ft、输入门it、输出门ot和当前隐藏层的输入c_int,计算方法分别如下:it=σ(Wxixt+Whiht-i+bi)

ft=σ(Wxfxt+Whfht-1+bf)

ot=σ(Wxoxt+Whoht-1+bo)

其中,Wxi和Whi是输入门权重矩阵,Wxf和Whf是遗忘门权重矩阵,Wxo和Who是输出门权重矩阵,Wxc和Whc为当前隐藏层权重矩阵,bi、bf、bo、 分别是输入门,遗忘门,输出门和输入的偏置,σ是sigmoid函数,tanh函数为输入的激活函数;

步骤2.2.2,根据mask gate、duration、遗忘门ft、输入门it、输出门ot和上一时刻神经元的记忆,高效计算隐藏层新的记忆和输出,计算方法分别如下:其中,☉是Hadamard积,ct,ht分别表示t时刻隐藏层神经元的记忆和输出, 为t-dt+1时刻记忆, 为t时刻神经元记忆参考值,c_int为t时刻隐藏层神经元的输入, 为t刻神经元输出参考值, 为t-dt+1时刻神经元输出, 为1向量;

受mt的控制,只在mt=1时,ct和ht被更新为 和 mt=0时,无需计算 和 和 将利用之前最近一次更新的状态 和duration进行计算。