[發(fā)明專利]一種基于人工智能的文本挖掘方法、相關(guān)裝置及設(shè)備

有效

• 申請?zhí)枺?/td>: 202011001027.4
• 申請日: 2020-09-22
• 公開（公告）號: CN111931501B
• 公開（公告）日: 2021-01-08
• 發(fā)明（設(shè)計）人: 蔣杰;杜廣雷;石志林;張長旺;張紀(jì)紅
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/216;G06N20/00
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 李杭

1.一種基于人工智能的文本挖掘方法，其特征在于，包括：

獲取領(lǐng)域候選詞所對應(yīng)的領(lǐng)域候選詞特征；

根據(jù)所述領(lǐng)域候選詞特征，獲取所述領(lǐng)域候選詞所對應(yīng)的詞質(zhì)量分值；

根據(jù)所述領(lǐng)域候選詞所對應(yīng)的詞質(zhì)量分值確定新詞；

根據(jù)所述新詞獲取關(guān)聯(lián)文本；

若根據(jù)所述關(guān)聯(lián)文本確定領(lǐng)域種子詞滿足領(lǐng)域新詞挖掘條件，則確定所述領(lǐng)域種子詞為領(lǐng)域新詞；

所述根據(jù)所述領(lǐng)域候選詞特征，獲取所述領(lǐng)域候選詞所對應(yīng)的詞質(zhì)量分值，包括：

基于所述領(lǐng)域候選詞特征，通過隨機(jī)森林模型所包括的決策樹，獲取所述領(lǐng)域候選詞特征所對應(yīng)的子分值；

根據(jù)所述領(lǐng)域候選詞特征所對應(yīng)的子分值，獲取所述領(lǐng)域候選詞所對應(yīng)的詞質(zhì)量分值。

2.根據(jù)權(quán)利要求1所述的文本挖掘方法，其特征在于，所述獲取領(lǐng)域候選詞所對應(yīng)的領(lǐng)域候選詞特征，包括：

從領(lǐng)域語料庫中獲取語句；

對所述語句中的每個語句進(jìn)行分詞處理，得到文本序列；

根據(jù)所述文本序列獲取所述領(lǐng)域候選詞；

根據(jù)所述領(lǐng)域候選詞獲取所述領(lǐng)域候選詞特征。

3.根據(jù)權(quán)利要求2所述的文本挖掘方法，其特征在于，所述根據(jù)所述文本序列獲取所述領(lǐng)域候選詞，包括：

根據(jù)詞數(shù)采樣閾值以及字符數(shù)采樣閾值，獲取所述文本序列所對應(yīng)的領(lǐng)域候選詞，其中，所述詞數(shù)采樣閾值表示詞語數(shù)量的上限值，所述字符數(shù)采樣閾值表示字符數(shù)量的上限值。

4.根據(jù)權(quán)利要求2所述的文本挖掘方法，其特征在于，所述根據(jù)所述領(lǐng)域候選詞獲取所述領(lǐng)域候選詞特征，包括：

根據(jù)所述文本序列獲取所述領(lǐng)域候選詞所對應(yīng)的領(lǐng)域候選詞特征，其中，所述領(lǐng)域候選詞特征包括詞頻、詞頻逆文檔頻率TFIDF值、自由度、凝固度、左側(cè)信息熵以及右側(cè)信息熵中的至少一項(xiàng)。

5.根據(jù)權(quán)利要求1所述的文本挖掘方法，其特征在于，所述根據(jù)所述領(lǐng)域候選詞所對應(yīng)的詞質(zhì)量分值確定新詞，包括：

若所述領(lǐng)域候選詞所對應(yīng)的詞質(zhì)量分值大于或等于質(zhì)量分閾值，則確定所述領(lǐng)域候選詞屬于新詞；

若所述領(lǐng)域候選詞所對應(yīng)的詞質(zhì)量分值小于所述質(zhì)量分閾值，則確定所述領(lǐng)域候選詞不屬于新詞。

6.根據(jù)權(quán)利要求1所述的文本挖掘方法，其特征在于，所述根據(jù)所述領(lǐng)域候選詞所對應(yīng)的詞質(zhì)量分值確定新詞，包括：

根據(jù)所述領(lǐng)域候選詞所對應(yīng)的領(lǐng)域候選詞特征，獲取所述領(lǐng)域候選詞所對應(yīng)的詞頻；

若所述領(lǐng)域候選詞所對應(yīng)的詞質(zhì)量分值大于或等于質(zhì)量分閾值，且，所述領(lǐng)域候選詞所對應(yīng)的詞頻大于或等于第一詞頻閾值，則確定所述領(lǐng)域候選詞屬于新詞；

若所述領(lǐng)域候選詞所對應(yīng)的詞質(zhì)量分值小于所述質(zhì)量分閾值，或，所述領(lǐng)域候選詞所對應(yīng)的詞頻小于所述第一詞頻閾值，則確定所述領(lǐng)域候選詞不屬于新詞。

7.根據(jù)權(quán)利要求1所述的文本挖掘方法，其特征在于，所述根據(jù)所述新詞獲取關(guān)聯(lián)文本，包括：

通過搜索引擎獲取所述新詞所對應(yīng)的搜索反饋結(jié)果，其中，所述搜索反饋結(jié)果包括至少一條搜索結(jié)果；

根據(jù)所述新詞對應(yīng)的搜索反饋結(jié)果，從所述至少一條搜索結(jié)果中將相關(guān)度最高的前R條搜索結(jié)果確定為所述新詞所對應(yīng)的關(guān)聯(lián)文本，其中，所述R為大于或等于1的整數(shù)。

8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的文本挖掘方法，其特征在于，所述根據(jù)所述新詞獲取關(guān)聯(lián)文本之后，所述方法還包括：

獲取所述領(lǐng)域種子詞；

根據(jù)所述關(guān)聯(lián)文本，確定所述領(lǐng)域種子詞的平均詞頻；

若所述平均詞頻大于或等于第二詞頻閾值，則確定所述領(lǐng)域種子詞滿足所述領(lǐng)域新詞挖掘條件。

9.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的文本挖掘方法，其特征在于，所述根據(jù)所述新詞獲取關(guān)聯(lián)文本之后，所述方法還包括：

獲取所述領(lǐng)域種子詞；

根據(jù)所述關(guān)聯(lián)文本，確定所述領(lǐng)域種子詞的最大詞頻；

若所述最大詞頻大于或等于第二詞頻閾值，則確定所述領(lǐng)域種子詞滿足所述領(lǐng)域新詞挖掘條件。