[發明專利]短文本主題分布的推理方法、系統、計算機設備和存儲介質

有效

• 申請號: 202010927402.1
• 申請日: 2020-09-07
• 公開（公告）號: CN112183108B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 廖清;郭頤冰;黃裕濤;漆舒漢;劉洋
• 申請（專利權）人: 哈爾濱工業大學（深圳）（哈爾濱工業大學深圳科技創新研究院）
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F16/36;G06F16/383
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

1.一種短文本主題分布的推理方法，其特征在于，包括以下步驟：

抽取單位時間內短文本中出現的共現詞對，整合所述共現詞對獲取詞組集合；

根據語義相似度和歷史共現度對所述詞組集合進行關聯，獲取所述詞組集合的動態關聯度，并以詞組矩陣形式存儲所述動態關聯度；

從所述詞組集合中抽取主題名稱，并根據所述動態關聯度修正所述主題名稱；

統計修正后的所述短文本中主題名稱，獲取所述短文本的主題分布。

2.根據權利要求1所述的短文本主題分布的推理方法，其特征在于，所述抽取單位時間內短文本中出現的共現詞對，整合所述共現詞對獲取詞組集合；包括：

預處理單位時間內的短文本，獲取所述短文本的數據集合信息；

從所述數據集合信息中抽取出現在同一個短文本中的單詞，將所述單詞組合為所述共現詞對；

將所述共現詞對整合為一個全局級別的所述詞組集合。

3.根據權利要求1所述的短文本主題分布的推理方法，其特征在于，所述根據語義相似度和歷史共現度對所述詞組集合進行關聯，獲取所述詞組集合的動態關聯度，并以詞組矩陣形式存儲所述動態關聯度；包括：

通過相似度模型訓練所述詞組集合獲取詞嵌入向量，使用余弦相似度計算所述詞組集合的詞嵌入向量上的所述語義相似度，根據所述語義相似度生成詞組矩陣；

對歷史短文本中高度重要的共現詞對進行關聯，獲取所述共現詞對的歷史共現度，量化所述歷史共現度并動態更新所述詞組矩陣，獲取所述詞組集合的動態關聯度；

將所述動態關聯度存儲到所述詞組矩陣中。

4.根據權利要求1所述的短文本主題分布的推理方法，其特征在于，所述從所述詞組集合中抽取主題名稱，并根據所述動態關聯度修正所述主題名稱；包括：

根據權重吉布斯采樣算法對所述詞組集合進行迭代，抽取和分配所述詞組集合，推理得到所述短文本的主題名稱；

根據所述動態關聯度對所述主題名稱進行修正，獲取偏向和強調的所述主題名稱。

5.一種短文本主題分布的推理系統，其特征在于，包括：

詞組集合模塊，用于抽取單位時間內短文本中出現的共現詞對，整合所述共現詞對獲取詞組集合；

動態關聯模塊，用于根據語義相似度和歷史共現度對所述詞組集合進行關聯，獲取所述詞組集合的動態關聯度，并以詞組矩陣形式存儲所述動態關聯度；

主題抽取模塊，用于從所述詞組集合中抽取主題名稱，并根據所述動態關聯度修正所述主題名稱；

分布統計模塊，用于統計修正后的所述短文本中主題名稱，獲取所述短文本的主題分布。

6.根據權利要求5所述的短文本主題分布的推理系統，其特征在于，所述詞組集合模塊包括詞組整合單元，所述詞組整合單元用于：

預處理單位時間內的短文本，獲取所述短文本的數據集合信息；從所述數據集合信息中抽取出現在同一個短文本中的單詞，將所述單詞組合為所述共現詞對；將所述共現詞對整合為一個全局級別的所述詞組集合。

7.根據權利要求5所述的短文本主題分布的推理系統，其特征在于，所述動態關聯模塊包括詞組矩陣單元，所述詞組矩陣單元用于：

通過相似度模型訓練所述詞組集合獲取詞嵌入向量，使用余弦相似度計算所述詞組集合的詞嵌入向量上的所述語義相似度，根據所述語義相似度生成詞組矩陣；

對歷史短文本中高度重要的共現詞對進行關聯，獲取所述共現詞對的歷史共現度，量化所述歷史共現度并動態更新所述詞組矩陣，獲取所述詞組集合的動態關聯度；

將所述動態關聯度存儲到所述詞組矩陣中。

8.根據權利要求5所述的短文本主題分布的推理系統，其特征在于，所述主題抽取模塊包括主題確定單元，所述主題確定單元用于：

根據權重吉布斯采樣算法對所述詞組集合進行迭代，抽取和分配所述詞組集合，推理得到所述短文本的主題名稱；

根據所述動態關聯度對所述主題名稱進行修正，獲取偏向和強調的所述主題名稱。