[發明專利]一種計算文本主題模型的方法及裝置

有效

• 申請號: 201611261218.8
• 申請日: 2016-12-30
• 公開（公告）號: CN106802940B
• 公開（公告）日: 2019-06-07
• 發明（設計）人: 趙耕弘;張霞;趙立軍;崔朝輝
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種計算文本主題模型的方法，其特征在于，包括：

獲取目標文本，所述目標文本中含有多個目標詞；

利用預設的文本主題模型計算方法，對訓練文本集合中的訓練文本進行主題模型的計算，得到每個所述訓練文本中關于各個訓練主題的分布概率P(t|d)；

利用預設的文本主題模型計算方法，對訓練文本集合中的訓練文本進行主題模型的計算，得到每個所述訓練文本中每個訓練主題中訓練詞的分布概率P1(w|t)；

基于所述訓練文本集合中每個訓練主題的訓練詞的分布概率P1(w|t)，獲取每個所述訓練主題中每個所述目標詞的分布概率P2(w|t)，P2(w|t)中的目標詞為出現在所述訓練詞中的詞；

利用P(t)＝∑_d∈DP(t|d)P(d)，獲取所述訓練文本集合各個所述訓練主題的分布概率P(t)，D為所述訓練文本集合，P(d)預設為1；

利用獲取所述目標文本中每個所述目標詞在各個所述訓練主題的分布概率P(t|w)，P(w)是每個所述目標詞在所述訓練文本集合中的分布概率；

利用獲取所述目標文本中各個訓練主題的分布概率，以得到所述目標文本的主題模型，w_i為所述目標文本中第i個目標詞，P(t|w_i)為目標詞w_i為訓練主題t的分布概率，d為所述目標詞的集合。

2.根據權利要求1所述的方法，其特征在于，所述文本主題模型計算方法為：PLSA主題模型計算方法、LDA主題模型計算方法或SVD主題模型計算方法。

3.根據權利要求1所述的方法，其特征在于，還包括：

利用所述目標文本的主題模型，對文本進行主題的計算。

4.一種計算文本主題模型的裝置，其特征在于，包括：

目標獲取單元，用于獲取目標文本，所述目標文本中含有多個目標詞；

第一訓練單元，用于利用預設的文本主題模型計算方法，對訓練文本集合中的訓練文本進行主題模型的計算，得到每個所述訓練文本中關于各個訓練主題的分布概率P(t|d)；

第二訓練單元，用于利用預設的文本主題模型計算方法，對訓練文本集合中的訓練文本進行主題模型的計算，得到每個所述訓練文本中每個訓練主題中訓練詞的分布概率P1(w|t)；

第一概率獲取單元，用于基于所述訓練文本集合中每個所述訓練主題的訓練詞的分布概率P1(w|t)，獲取每個所述訓練主題中每個所述目標詞的分布概率P2(w|t)，其中，P2(w|t)中的目標詞為出現在所述訓練詞中的詞；

第二概率獲取單元，用于利用P(t)＝∑_d∈DP(t|d)P(d)，獲取所述訓練文本集合各個所述訓練主題的分布概率P(t)，D為所述訓練文本集合，P(d)預設為1；

第三概率獲取單元，用于利用獲取所述目標文本中每個所述目標詞在各個所述訓練主題的分布概率P(t|w)，P(w)是每個所述目標詞在所述訓練文本集合中的分布概率；

模型獲取單元，用于利用獲取所述目標文本中各個訓練主題的分布概率，以得到所述目標文本的主題模型，w_i為所述目標文本中第i個目標詞，P(t|w_i)為目標詞w_i為訓練主題t的分布概率，d為所述目標詞的集合。

5.根據權利要求4所述的裝置，其特征在于，所述文本主題模型計算方法為：PLSA主題模型計算方法、LDA主題模型計算方法或SVD主題模型計算方法。

6.根據權利要求4所述的裝置，其特征在于，還包括：

主題計算單元，用于在模型獲取單元得到所述目標文本的主題模型之后，利用所述目標文本的主題模型，對文本進行主題的計算。