[發明專利]用于識別文本主題的方法和裝置

在審

• 申請號: 201611051277.2
• 申請日: 2016-11-23
• 公開（公告）號: CN108090042A
• 公開（公告）日: 2018-05-29
• 發明（設計）人: 張帥
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于識別文本主題的方法，其特征在于，所述方法包括：

對待識別文本進行預處理得到關鍵詞集合；

隨機確定所述關鍵詞集合中的每個關鍵詞所屬的主題；

統計各個主題包括的關鍵詞的數目；

對所述關鍵詞集合中的每個關鍵詞重復執行以下步驟，直到結果收斂或達到預設的迭代次數，其中，所述結果收斂包括重復執行以下步驟得到的各個主題的關鍵詞分布的變化量小于預定閾值：將關鍵詞所屬主題包括的關鍵詞的數目減一；根據預先訓練獲得的概率分布進行抽樣得到關鍵詞所屬主題，將抽樣得到的主題包括的關鍵詞的數目加一；

根據各個主題包括的關鍵詞的數目與所述關鍵詞集合中關鍵詞的數目確定各個主題出現在待識別文本中的概率。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括訓練獲得概率分布的步驟，其中，所述訓練獲得概率分布的步驟，包括：

獲取歷史文本集合，其中，所述歷史文本集合包括至少一個歷史文本子集，所述歷史文本子集是根據所述歷史文本集合中文本的生成時間和文本的數量對所述歷史文本集合劃分得到的；

通過文本主題生成模型訓練獲得所述待識別文本所在的歷史文本子集中各個主題的關鍵詞分布。

3.根據權利要求2所述的方法，其特征在于，所述通過文本主題生成模型訓練獲得所述待識別文本所在的歷史文本子集中各個主題的關鍵詞分布，包括：

通過文本主題生成模型訓練獲得文本生成時間最早的歷史文本子集中各個主題的關鍵詞分布；

基于訓練獲得的歷史文本子集中各個主題的關鍵詞分布，按照所述歷史文本子集中文本的生成時間，依次確定除所述文本生成時間最早的子集外其他子集中文本的主題分布與各個主題的關鍵詞分布。

4.根據權利要求3所述的方法，其特征在于，所述通過文本主題生成模型訓練獲得文本生成時間最早的子集中各個主題的關鍵詞分布，包括：

對于文本生成時間最早的子集中文本，執行以下步驟，直到生成該文本：

對于每個主題，從第一狄利克雷分布中抽樣出一個多項式分布作為該主題在關鍵詞上的分布；

從一個離散概率分布中隨機采樣出一個值作為該文本的長度；

從第二狄利克雷分布中抽樣出一個多項式分布作為該文本在主題上的分布；

對于該文本中的每個關鍵詞，從該文本在主題上的分布中抽樣出一個主題，再從抽樣出的主題在關鍵詞上的分布中抽樣出一個關鍵詞。

5.根據權利要求2-4中任一項所述的方法，其特征在于，所述方法還包括：

計算所述關鍵詞集合中每個關鍵詞的詞頻-逆向文件頻率值；

響應于所述詞頻-逆向文件頻率值與該關鍵詞出現在子集的次數的比值小于預定閾值，則將所述關鍵詞加入停用詞表；以及

所述預處理為分詞以及根據所述停用詞表刪除停用詞。

6.一種用于識別文本主題的裝置，其特征在于，所述裝置包括：

預處理單元，配置用于對待識別文本進行預處理得到關鍵詞集合；

主題確定單元，配置用于隨機確定所述關鍵詞集合中的每個關鍵詞所屬的主題；

統計單元，配置用于統計各個主題包括的關鍵詞的數目；

抽樣單元，配置用于對所述關鍵詞集合中的每個關鍵詞重復執行以下步驟，直到結果收斂或達到預設的迭代次數，其中，所述結果收斂包括重復執行以下步驟得到的各個主題的關鍵詞分布的變化量小于預定閾值：將關鍵詞所屬主題包括的關鍵詞的數目減一；根據預先訓練獲得的概率分布進行抽樣得到關鍵詞所屬主題，將抽樣得到的主題包括的關鍵詞的數目加一；

概率確定單元，配置用于根據各個主題包括的關鍵詞的數目與所述關鍵詞集合中關鍵詞的數目確定各個主題出現在待識別文本中的概率。