[發(fā)明專利]話題聚類方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010601481.7
• 申請日: 2020-06-28
• 公開（公告）號: CN111666415A
• 公開（公告）日: 2020-09-15
• 發(fā)明（設(shè)計）人: 楊鳳鑫;徐國強(qiáng)
• 申請（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/31;G06K9/62
• 代理公司: 深圳市賽恩倍吉知識產(chǎn)權(quán)代理有限公司 44334
• 代理人: 劉麗華;孫芬

1.一種話題聚類方法，其特征在于，所述方法包括：

響應(yīng)于接收到的多篇文本，基于正則表達(dá)式匹配算法對所述多篇文本進(jìn)行預(yù)處理；

識別預(yù)處理后的多篇文本中的無效信息；

從所述預(yù)處理后的多篇文本中刪除所述無效信息，得到初始文本集；

將所述初始文本集輸入到預(yù)先訓(xùn)練的聚類模型中，輸出聚類結(jié)果，所述聚類模型是基于K-means算法訓(xùn)練兩層棧式去噪自編碼器而得到。

2.如權(quán)利要求1所述的話題聚類方法，其特征在于，所述基于正則表達(dá)式匹配算法對所述多篇文本進(jìn)行預(yù)處理包括：

基于所述正則表達(dá)式對所述多篇文本進(jìn)行拆分；

將拆分后的文本與配置表達(dá)式進(jìn)行匹配；

從所述多篇文本中刪除匹配的文本。

3.如權(quán)利要求1所述的話題聚類方法，其特征在于，所述方法還包括：

對所述兩層棧式去噪自編碼器的每一層進(jìn)行預(yù)訓(xùn)練；

獲取所述聚類模型的訓(xùn)練樣本；

將所述訓(xùn)練樣本輸入至預(yù)訓(xùn)練后的兩層棧式去噪自編碼器，輸出所述訓(xùn)練樣本的文本表示；

從所述訓(xùn)練樣本的文本表示中隨機(jī)抽取數(shù)據(jù)生成多個mini-batch數(shù)據(jù)；

確定重構(gòu)損失、數(shù)據(jù)損失及成對損失；

計算所述重構(gòu)損失、所述數(shù)據(jù)損失及所述成對損失的和作為損失函數(shù)；

結(jié)合所述損失函數(shù)，采用迭代法，基于K-means算法計算所述多個mini-batch數(shù)據(jù)到質(zhì)心的距離，并基于所述距離確定多個簇，及確定所述多個簇的中心點(diǎn)參數(shù)；

響應(yīng)于當(dāng)前輪次與上一輪次的距離變化量小于總變化量與配置值的乘積，停止迭代，得到所述聚類模型，存儲所述聚類模型至區(qū)塊鏈中。

4.如權(quán)利要求3所述的話題聚類方法，其特征在于，所述對所述兩層棧式去噪自編碼器的每一層進(jìn)行預(yù)訓(xùn)練包括：

獲取對應(yīng)于多種訓(xùn)練任務(wù)的訓(xùn)練數(shù)據(jù)；

基于所述訓(xùn)練數(shù)據(jù)分別對所述兩層棧式去噪自編碼器的每一層進(jìn)行訓(xùn)練。

5.如權(quán)利要求3所述的話題聚類方法，其特征在于，所述方法還包括：

響應(yīng)于所述訓(xùn)練樣本中的所有數(shù)據(jù)都執(zhí)行過迭代，確定經(jīng)過的Epoch；

獲取每個Epoch中得到的中心點(diǎn)參數(shù)；

將最大的中心點(diǎn)參數(shù)對應(yīng)的坐標(biāo)點(diǎn)確定為聚類中心點(diǎn)。

6.如權(quán)利要求1所述的話題聚類方法，其特征在于，在輸出聚類結(jié)果后，所述方法還包括：

獲取所述聚類結(jié)果中的多個子集；

基于BERT算法識別每個子集的多個關(guān)鍵詞；

對每個子集中的每個關(guān)鍵詞進(jìn)行評分；

將每個子集的多個關(guān)鍵詞中評分最高的關(guān)鍵詞確定為每個子集的話題類別。

7.如權(quán)利要求1所述的話題聚類方法，其特征在于，所述方法還包括：

當(dāng)檢測到用戶閱讀文章的信號時，確定所述用戶閱讀的文章的話題類別；

推薦與所述話題類別相關(guān)聯(lián)的文章至所述用戶的終端設(shè)備。

8.一種話題聚類裝置，其特征在于，所述裝置包括：

預(yù)處理單元，用于響應(yīng)于接收到的多篇文本，基于正則表達(dá)式匹配算法對所述多篇文本進(jìn)行預(yù)處理；

識別單元，用于識別預(yù)處理后的多篇文本中的無效信息；

刪除單元，用于從所述預(yù)處理后的多篇文本中刪除所述無效信息，得到初始文本集；

聚類單元，用于將所述初始文本集輸入到預(yù)先訓(xùn)練的聚類模型中，輸出聚類結(jié)果，所述聚類模型是基于K-means算法訓(xùn)練兩層棧式去噪自編碼器而得到。

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

存儲器，存儲至少一個指令；及

處理器，執(zhí)行所述存儲器中存儲的指令以實(shí)現(xiàn)如權(quán)利要求1至7中任意一項所述的話題聚類方法。

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于：所述計算機(jī)可讀存儲介質(zhì)中存儲有至少一個指令，所述至少一個指令被電子設(shè)備中的處理器執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1至7中任意一項所述的話題聚類方法。