[發(fā)明專利]話題聚類方法、裝置、電子設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010601481.7
• 申請日: 2020-06-28
• 公開（公告）號: CN111666415A
• 公開（公告）日: 2020-09-15
• 發(fā)明（設計）人: 楊鳳鑫;徐國強
• 申請（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/31;G06K9/62
• 代理公司: 深圳市賽恩倍吉知識產(chǎn)權(quán)代理有限公司 44334
• 代理人: 劉麗華;孫芬

本發(fā)明涉及人工智能領(lǐng)域，提供一種話題聚類方法、裝置、電子設備及存儲介質(zhì)。該方法能夠基于正則表達式匹配算法對多篇文本進行預處理，刪除對聚類沒有意義的冗余詞，降低干擾詞的影響，以提升聚類效率，識別并刪除預處理后的多篇文本中的無效信息，得到初始文本集，將初始文本集輸入到預先訓練的聚類模型中，輸出聚類結(jié)果，所述聚類模型是基于K?means算法訓練兩層棧式去噪自編碼器而得到，將傳統(tǒng)的K?means聚類與深度學習算法進行了融合，同時，采用SDAE結(jié)構(gòu)，有效提高了長文本的語義表示能力，對算法的效果也有明顯提升，進而實現(xiàn)了端到端的細粒度話題聚類。本發(fā)明還涉及區(qū)塊鏈技術(shù)，聚類模型可存儲于區(qū)塊鏈中。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種話題聚類方法、裝置、電子設備及存儲介質(zhì)。

背景技術(shù)

聚類是許多數(shù)據(jù)驅(qū)動應用領(lǐng)域的核心，尤其是在新聞資訊領(lǐng)域，通過話題聚類能夠確定熱點資訊。

然而，傳統(tǒng)的話題聚類算法主要是針對新聞報道的在線聚類，更加注重的是算法的高效性，雖然改善了算法聚類的時間復雜度，但是算法的準確率卻不高，并且，由于缺乏對文本的語義理解，傳統(tǒng)機器學習算法無法對細粒度的話題有很好的區(qū)分度。

發(fā)明內(nèi)容

鑒于以上內(nèi)容，有必要提供一種話題聚類方法、裝置、電子設備及存儲介質(zhì)，能夠?qū)鹘y(tǒng)的K-means聚類與深度學習算法進行了融合，同時，采用SDAE結(jié)構(gòu)，有效提高了長文本的語義表示能力，對算法的效果也有明顯提升，進而實現(xiàn)了端到端的細粒度話題聚類。

一種話題聚類方法，所述方法包括：

響應于接收到的多篇文本，基于正則表達式匹配算法對所述多篇文本進行預處理；

識別預處理后的多篇文本中的無效信息；

從所述預處理后的多篇文本中刪除所述無效信息，得到初始文本集；

將所述初始文本集輸入到預先訓練的聚類模型中，輸出聚類結(jié)果，所述聚類模型是基于K-means算法訓練兩層棧式去噪自編碼器而得到。

根據(jù)本發(fā)明優(yōu)選實施例，所述基于正則表達式匹配算法對所述多篇文本進行預處理包括：

基于所述正則表達式對所述多篇文本進行拆分；

將拆分后的文本與配置表達式進行匹配；

從所述多篇文本中刪除匹配的文本。

根據(jù)本發(fā)明優(yōu)選實施例，所述方法還包括：

對所述兩層棧式去噪自編碼器的每一層進行預訓練；

獲取所述聚類模型的訓練樣本；

將所述訓練樣本輸入至預訓練后的兩層棧式去噪自編碼器，輸出所述訓練樣本的文本表示；

從所述訓練樣本的文本表示中隨機抽取數(shù)據(jù)生成多個mini-batch數(shù)據(jù)；

確定重構(gòu)損失、數(shù)據(jù)損失及成對損失；

計算所述重構(gòu)損失、所述數(shù)據(jù)損失及所述成對損失的和作為損失函數(shù)；

結(jié)合所述損失函數(shù)，采用迭代法，基于K-means算法計算所述多個mini-batch數(shù)據(jù)到質(zhì)心的距離，并基于所述距離確定多個簇，及確定所述多個簇的中心點參數(shù)；

響應于當前輪次與上一輪次的距離變化量小于總變化量與配置值的乘積，停止迭代，得到所述聚類模型，存儲所述聚類模型至區(qū)塊鏈中。

根據(jù)本發(fā)明優(yōu)選實施例，所述對所述兩層棧式去噪自編碼器的每一層進行預訓練包括：

獲取對應于多種訓練任務的訓練數(shù)據(jù)；

基于所述訓練數(shù)據(jù)分別對所述兩層棧式去噪自編碼器的每一層進行訓練。