[發(fā)明專利]一種新話題的自動(dòng)挖掘方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010153596.4
• 申請(qǐng)日: 2020-03-06
• 公開（公告）號(hào): CN111339784B
• 公開（公告）日: 2023-03-14
• 發(fā)明（設(shè)計(jì)）人: 謝楊易
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06F40/30
• 分類號(hào): G06F40/30;G06F16/35
• 代理公司: 成都七星天知識(shí)產(chǎn)權(quán)代理有限公司 51253
• 代理人: 楊永梅

1.一種新話題的自動(dòng)挖掘方法，所述方法包括：

獲取歷史文本數(shù)據(jù)，確定所述歷史文本數(shù)據(jù)中歷史文本之間的第一語義距離；

基于所述第一語義距離確定至少一個(gè)第一簇；

確定所述至少一個(gè)第一簇中每個(gè)簇的第一話題，所述第一話題反映第一簇的中心內(nèi)容；

獲取包含歷史文本和新增文本的文本合集數(shù)據(jù)，確定所述文本合集數(shù)據(jù)中文本之間的第二語義距離；

基于所述第二語義距離確定至少一個(gè)第二簇；

確定所述至少一個(gè)第二簇中每個(gè)簇的第二話題，所述第二話題反映第二簇的中心內(nèi)容；

當(dāng)所述第二話題與任意一個(gè)第一話題的第三語義距離均大于預(yù)設(shè)距離閾值時(shí)，確定所述第二話題為新話題。

2.根據(jù)權(quán)利要求1所述的新話題的自動(dòng)挖掘方法，所述第一語義距離和所述第二語義距離均為余弦距離。

3.根據(jù)權(quán)利要求1所述的新話題的自動(dòng)挖掘方法，所述第一語義距離的確定方法包括：

對(duì)所述歷史文本數(shù)據(jù)進(jìn)行預(yù)處理；

利用BERT神經(jīng)網(wǎng)絡(luò)對(duì)預(yù)處理后的歷史文本數(shù)據(jù)進(jìn)行編碼；

基于編碼后的歷史文本數(shù)據(jù)，確定所述歷史文本數(shù)據(jù)中歷史文本之間的第一語義距離。

4.根據(jù)權(quán)利要求1所述的新話題的自動(dòng)挖掘方法，所述第二語義距離的確定方法包括：

對(duì)所述文本合集數(shù)據(jù)進(jìn)行預(yù)處理；

利用BERT神經(jīng)網(wǎng)絡(luò)對(duì)預(yù)處理后的文本合集數(shù)據(jù)進(jìn)行編碼；

基于編碼后的文本合集數(shù)據(jù)，確定所述文本合集數(shù)據(jù)中文本之間的第二語義距離。

5.根據(jù)權(quán)利要求4所述的新話題的自動(dòng)挖掘方法，所述預(yù)處理包括清洗文本數(shù)據(jù)中的噪聲數(shù)據(jù)，所述噪聲數(shù)據(jù)至少包括廣告數(shù)據(jù)、色情數(shù)據(jù)、語句不通順數(shù)據(jù)和/或重復(fù)數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的新話題的自動(dòng)挖掘方法，所述基于所述第一語義距離確定至少一個(gè)第一簇包括：基于所述第一語義距離利用HDBSCAN聚類算法確定至少一個(gè)第一簇。

7.根據(jù)權(quán)利要求1所述的新話題的自動(dòng)挖掘方法，所述基于所述第二語義距離確定至少一個(gè)第二簇包括：基于所述第二語義距離利用HDBSCAN聚類算法確定至少一個(gè)第二簇。

8.根據(jù)權(quán)利要求1所述的新話題的自動(dòng)挖掘方法，所述第一話題或所述第二話題的確定方法包括：

對(duì)于每個(gè)簇，確定所述簇中每個(gè)子集為所述簇的中心的概率值；

確定所述概率值最大的子集為所述簇的聚類中心；

基于所述聚類中心確定對(duì)應(yīng)簇的第一話題或第二話題。

9.根據(jù)權(quán)利要求1所述的新話題的自動(dòng)挖掘方法，還包括：

當(dāng)所述至少一個(gè)第二簇中第二話題與至少一個(gè)第一簇中任意一個(gè)第一話題的第三語義距離均小于或等于預(yù)設(shè)距離閾值時(shí)，確定所述第二話題為老話題，所述老話題包括本次新話題自動(dòng)挖掘之前確定的新話題。

10.一種新話題的自動(dòng)挖掘系統(tǒng)，所述系統(tǒng)包括：

獲取模塊，所述獲取模塊被配置為獲取歷史文本數(shù)據(jù)以及包含歷史文本和新增文本的文本合集數(shù)據(jù)；

數(shù)據(jù)處理模塊，所述數(shù)據(jù)處理模塊被配置為確定所述歷史文本數(shù)據(jù)中歷史文本之間的第一語義距離，以及確定所述文本合集數(shù)據(jù)中文本之間的第二語義距離；

聚類模塊，所述聚類模塊被配置為基于所述第一語義距離確定至少一個(gè)第一簇，與基于所述第二語義距離確定至少一個(gè)第二簇；

提取模塊，所述提取模塊被配置為確定所述至少一個(gè)第一簇中每個(gè)簇的第一話題，所述第一話題反映第一簇的中心內(nèi)容；以及確定所述至少一個(gè)第二簇中每個(gè)簇的第二話題，所述第二話題反映第二簇的中心內(nèi)容；

話題確定模塊，所述話題確定模塊被配置為當(dāng)所述第二話題與任意一個(gè)第一話題的第三語義距離均大于預(yù)設(shè)距離閾值時(shí)，確定所述第二話題為新話題。

11.根據(jù)權(quán)利要求10所述的新話題的自動(dòng)挖掘系統(tǒng)，所述第一語義距離和所述第二語義距離均為余弦距離。