1.一种适用于LDA主题模型的自适应迭代Gibbs采样方法,其特征在于:Step1:使用分词工具和停用词表对输入的文本数据集进行分词和去停用词处理;
Step2:将经过分词和去停用词处理后的文本数据集转换为词袋模型;
Step3:将词袋模型输入到LDA主题模型中,并使用自适应迭代的Gibbs采样算法对词袋模型进行采样,并对LDA主题模型生成的主题参数进行估计,直到主题参数收敛,迭代自动停止;
Step4:当自适应迭代的Gibbs采样自动结束时,从而输出文本数据集潜在的主题特征即所有文本的主题分布θ和所有主题的单词分布所述Step3具体步骤为:
Step3.1:在使用Gibbs采样对LDA主题模型进行训练时,每迭代十次将生成的文本‑主题分布θ和主题‑词语分布 通过下式生成文本‑词语分布Cnew:Step3.2:将词袋模型作为一个文本‑词语分布,记为C;
Step3.3:在Gibbs采样每迭代十次生成的Cnew同输入的词袋C通过下式进行相关系数计算:式中,Ci表示词袋模型中第i个词的特征值, 表示词袋模型中所有特征值的平均值,表示词袋模型中第i个词的特征值;
Step3.4:当Gibbs采样每十次迭代生成的Cnew和输入词袋C相关系数 精确到小数点后五位连续三次保持不变时,即表明 趋于稳定,此时Gibbs采样停止;
将Gibbs采样迭代停止时的迭代数作为输入数据集经过LDA主题模型训练后主题参数收敛的标志。