[發(fā)明專利]一種主題詞挖掘方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011580178.X
• 申請(qǐng)日: 2020-12-28
• 公開(kāi)（公告）號(hào): CN112784009B
• 公開(kāi)（公告）日: 2023-08-18
• 發(fā)明（設(shè)計(jì)）人: 熊永平;曹滔宇;朱承治;谷紀(jì)亭;徐翀
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué);國(guó)網(wǎng)浙江省電力有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F40/289;G06N3/0464;G06N3/0442
• 代理公司: 北京風(fēng)雅頌專利代理有限公司 11403
• 代理人: 王剛

1.一種主題詞挖掘方法，其特征在于，包括：

獲取文本數(shù)據(jù)；

基于語(yǔ)言模型過(guò)濾所述文本數(shù)據(jù)以確定候選詞集合；

基于無(wú)監(jiān)督算法和預(yù)測(cè)模型篩選所述候選詞集合以確定所述候選詞集合的重要度結(jié)果；所述候選詞集合的重要度結(jié)果，包括：第一重要度EMS(W_i)；

所述基于無(wú)監(jiān)督算法和預(yù)測(cè)模型篩選所述候選詞集合以確定所述候選詞集合的重要度結(jié)果，具體包括：

根據(jù)所述無(wú)監(jiān)督算法確定所述候選詞集合中每個(gè)所述候選詞相對(duì)于所述文本數(shù)據(jù)的所述第一重要度EMS(W_i)；所述第一重要度EMS(W_i)表示為

其中，T_j表示切分所述文本數(shù)據(jù)后得到的文本片段，r_i()表示迭代函數(shù)；

r_i(_j)表示重要度參量，可以表示為

其中，I()表示選擇函數(shù)，S表示由任意個(gè)詞匯生成的句子，表示詞典D中被切分的句子，W_i表示候選詞，P()表示概率函數(shù)，D表示詞典，表示詞典概率參數(shù)；

根據(jù)所述候選詞集合的重要度結(jié)果確定主題詞。

2.根據(jù)權(quán)利要求1所述的主題詞挖掘方法，其特征在于，所述獲取文本數(shù)據(jù)，具體包括：

獲取待處理的行業(yè)文本語(yǔ)料；

對(duì)所述行業(yè)文本語(yǔ)料進(jìn)行預(yù)處理操作以得到所述文本數(shù)據(jù)；所述預(yù)處理操作，包括：刪除冗余字符、確定文本粒度和分行處理。

3.根據(jù)權(quán)利要求1所述的主題詞挖掘方法，其特征在于，所述基于語(yǔ)言模型過(guò)濾所述文本數(shù)據(jù)以確定候選詞集合，具體包括：

基于所述語(yǔ)言模型根據(jù)所述文本數(shù)據(jù)確定所述文本數(shù)據(jù)中的詞匯的詞長(zhǎng)和詞頻；

利用數(shù)據(jù)挖掘策略選擇所述詞長(zhǎng)不大于詞長(zhǎng)閾值且所述詞頻不小于詞頻閾值的所述文本數(shù)據(jù)中的詞匯以確定候選詞；

基于凝固度和自由度篩選策略根據(jù)所述候選詞確定所述候選詞集合。

4.根據(jù)權(quán)利要求3所述的主題詞挖掘方法，其特征在于，所述基于凝固度和自由度篩選策略根據(jù)所述候選詞確定所述候選詞集合，具體包括：

確定所述候選詞的凝固度SD(W_i)和自由度FD(W_i)；所述候選詞的凝固度SD(W_i)表示為

其中，W_i表示所述候選詞，W_i＝C₁C₂..._n，C₁C₂...C_n表示字符，p()表示概率函數(shù)；

所述候選詞的自由度FD(W_i)表示為

FD(W_i)＝min{LE(W_i),RE(W_i)}

其中，LE(W_i)表示所述候選詞的左鄰熵，RE(W_i)表示所述候選詞的右鄰熵；

基于所述凝固度和自由度篩選策略選擇所述凝固度SD(W_i)不小于凝固度閾值且所述自由度FD(W_i)不小于自由度閾值的所述候選詞以確定所述候選詞集合。

5.根據(jù)權(quán)利要求1所述的主題詞挖掘方法，其特征在于，所述候選詞集合的重要度結(jié)果，還包括：第二重要度LCS(W_i)；

所述基于無(wú)監(jiān)督算法和預(yù)測(cè)模型篩選所述候選詞集合以確定候選詞集合的重要度結(jié)果，具體包括：

根據(jù)所述預(yù)測(cè)模型確定所述候選詞集合中每個(gè)所述候選詞相對(duì)于所述文本數(shù)據(jù)的所述第二重要度LCS(W_i)。