[發明專利]話題聚類方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010601481.7
• 申請日: 2020-06-28
• 公開（公告）號: CN111666415A
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 楊鳳鑫;徐國強
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/31;G06K9/62
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 劉麗華;孫芬

1.一種話題聚類方法，其特征在于，所述方法包括：

響應于接收到的多篇文本，基于正則表達式匹配算法對所述多篇文本進行預處理；

識別預處理后的多篇文本中的無效信息；

從所述預處理后的多篇文本中刪除所述無效信息，得到初始文本集；

將所述初始文本集輸入到預先訓練的聚類模型中，輸出聚類結果，所述聚類模型是基于K-means算法訓練兩層棧式去噪自編碼器而得到。

2.如權利要求1所述的話題聚類方法，其特征在于，所述基于正則表達式匹配算法對所述多篇文本進行預處理包括：

基于所述正則表達式對所述多篇文本進行拆分；

將拆分后的文本與配置表達式進行匹配；

從所述多篇文本中刪除匹配的文本。

3.如權利要求1所述的話題聚類方法，其特征在于，所述方法還包括：

對所述兩層棧式去噪自編碼器的每一層進行預訓練；

獲取所述聚類模型的訓練樣本；

將所述訓練樣本輸入至預訓練后的兩層棧式去噪自編碼器，輸出所述訓練樣本的文本表示；

從所述訓練樣本的文本表示中隨機抽取數據生成多個mini-batch數據；

確定重構損失、數據損失及成對損失；

計算所述重構損失、所述數據損失及所述成對損失的和作為損失函數；

結合所述損失函數，采用迭代法，基于K-means算法計算所述多個mini-batch數據到質心的距離，并基于所述距離確定多個簇，及確定所述多個簇的中心點參數；

響應于當前輪次與上一輪次的距離變化量小于總變化量與配置值的乘積，停止迭代，得到所述聚類模型，存儲所述聚類模型至區塊鏈中。

4.如權利要求3所述的話題聚類方法，其特征在于，所述對所述兩層棧式去噪自編碼器的每一層進行預訓練包括：

獲取對應于多種訓練任務的訓練數據；

基于所述訓練數據分別對所述兩層棧式去噪自編碼器的每一層進行訓練。

5.如權利要求3所述的話題聚類方法，其特征在于，所述方法還包括：

響應于所述訓練樣本中的所有數據都執行過迭代，確定經過的Epoch；

獲取每個Epoch中得到的中心點參數；

將最大的中心點參數對應的坐標點確定為聚類中心點。

6.如權利要求1所述的話題聚類方法，其特征在于，在輸出聚類結果后，所述方法還包括：

獲取所述聚類結果中的多個子集；

基于BERT算法識別每個子集的多個關鍵詞；

對每個子集中的每個關鍵詞進行評分；

將每個子集的多個關鍵詞中評分最高的關鍵詞確定為每個子集的話題類別。

7.如權利要求1所述的話題聚類方法，其特征在于，所述方法還包括：

當檢測到用戶閱讀文章的信號時，確定所述用戶閱讀的文章的話題類別；

推薦與所述話題類別相關聯的文章至所述用戶的終端設備。

8.一種話題聚類裝置，其特征在于，所述裝置包括：

預處理單元，用于響應于接收到的多篇文本，基于正則表達式匹配算法對所述多篇文本進行預處理；

識別單元，用于識別預處理后的多篇文本中的無效信息；

刪除單元，用于從所述預處理后的多篇文本中刪除所述無效信息，得到初始文本集；

聚類單元，用于將所述初始文本集輸入到預先訓練的聚類模型中，輸出聚類結果，所述聚類模型是基于K-means算法訓練兩層棧式去噪自編碼器而得到。

9.一種電子設備，其特征在于，所述電子設備包括：

存儲器，存儲至少一個指令；及

處理器，執行所述存儲器中存儲的指令以實現如權利要求1至7中任意一項所述的話題聚類方法。

10.一種計算機可讀存儲介質，其特征在于：所述計算機可讀存儲介質中存儲有至少一個指令，所述至少一個指令被電子設備中的處理器執行以實現如權利要求1至7中任意一項所述的話題聚類方法。