1.一种能利用事件持续时间的高效LSTM设计方法,其特征在于,包括以下步骤:步骤1,使用基于事件持续时间的序列编码方法,将序列数据中所包含的事件及其持续时间信息作为LSTM网络各个时刻的输入;
步骤2,通过高效LSTM隐藏层神经元记忆更新方法,使神经元能够记忆事件的持续时间,合理高效地进行神经元的计算。
2.根据权利要求1所述的一种能利用事件持续时间的高效LSTM设计方法,其特征在于,所述步骤1中,获得各时刻LSTM网络的输入的方法包括以下步骤:步骤1.1,每隔时间间隔α对序列进行采样并由此构建输入高效LSTM的序列编码;
步骤1.2,使用N维向量xt表示高效LSTM在输入时刻t的输入编码,即编码向量,其中N为所有事件的种类,向量xt中的每一元素分别对应一种事件;
步骤1.3,在输入时刻t,判断对应的采样时刻是否有事件j发生,若有,则向量xt中的第j位置置为1;若无,向量xt中的第j位置置为0;由此得到的编码向量xt,即为各时刻LSTM网络的输入。
3.根据权利要求1所述的一种能利用事件持续时间的高效LSTM设计方法,其特征在于:所述步骤2中,高效LSTM隐藏层神经元记忆更新方法包括以下步骤:
步骤2.1,确定LSTM单元中的掩门mask gate和时长duration,mask gate的开、关由网络各时刻输入的变化情况决定,若某一时刻的编码向量xt与上一时刻xt-1不同,此时隐藏层神经元及时更新记忆,mask gate打开;若编码向量xt与xt-1相同,此时神经元记忆无需更新,mask gate关闭,进入保持阶段;每当记忆保持的持续时间增加一个时刻,duration的值增1;
步骤2.2,根据各时刻的mask gate和duration,使用门控选择更新方法计算隐藏层神经元记忆和输出。
4.根据权利要求3所述的一种能利用事件持续时间的高效LSTM设计方法,其特征在于,所述mask gate和duration的计算方法分别如下:其中,mt表示t时刻的mask gate,xt和xt-1分别表示t和t-1时刻的编码向量,dt表示t时刻的duration,在每个记忆保持时刻,duration的值持续累积。
5.根据权利要求3所述的一种能利用事件持续时间的高效LSTM设计方法,其特征在于:所述步骤2.2中门控选择更新方法包括以下步骤:
步骤2.2.1,根据输入编码xt和上一时刻隐藏层输出ht-1,计算LSTM单元的遗忘门ft、输入门it、输出门ot和当前隐藏层的输入c_int,计算方法分别如下:it=σ(Wxixt+Whiht-i+bi)
ft=σ(Wxfxt+Whfht-1+bf)
ot=σ(Wxoxt+Whoht-1+bo)
其中,Wxi和Whi是输入门权重矩阵,Wxf和Whf是遗忘门权重矩阵,Wxo和Who是输出门权重矩阵,Wxc和Whc为当前隐藏层权重矩阵,bi、bf、bo、 分别是输入门,遗忘门,输出门和输入的偏置,σ是sigmoid函数,tanh函数为输入的激活函数;
步骤2.2.2,根据mask gate、duration、遗忘门ft、输入门it、输出门ot和上一时刻神经元的记忆,高效计算隐藏层新的记忆和输出,计算方法分别如下:其中,☉是Hadamard积,ct,ht分别表示t时刻隐藏层神经元的记忆和输出, 为t-dt+1时刻记忆, 为t时刻神经元记忆参考值,c_int为t时刻隐藏层神经元的输入, 为t刻神经元输出参考值, 为t-dt+1时刻神经元输出, 为1向量;
受mt的控制,只在mt=1时,ct和ht被更新为 和 mt=0时,无需计算 和 和 将利用之前最近一次更新的状态 和duration进行计算。