[發(fā)明專利]關(guān)鍵詞提取方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201611039501.6
• 申請(qǐng)日: 2016-11-10
• 公開（公告）號(hào): CN108073568B
• 公開（公告）日: 2020-09-11
• 發(fā)明（設(shè)計(jì)）人: 鮑曉
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F40/205
• 分類號(hào): G06F40/205;G06F40/216;G06F40/30
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 朱雅男

1.一種關(guān)鍵詞提取方法，其特征在于，所述方法包括：

從目標(biāo)文本中提取候選關(guān)鍵詞；

對(duì)于每一個(gè)候選關(guān)鍵詞，獲取所述候選關(guān)鍵詞對(duì)應(yīng)的有效特征，所述有效特征是指對(duì)關(guān)鍵詞判定具有區(qū)分功能的特征，所述有效特征包括各個(gè)特征值上的樣本占比與對(duì)應(yīng)的特征值之間為單調(diào)遞增或單調(diào)遞減關(guān)系的候選特征；

根據(jù)所述候選關(guān)鍵詞對(duì)應(yīng)的有效特征和各項(xiàng)所述有效特征分別對(duì)應(yīng)的加權(quán)系數(shù)計(jì)算所述候選關(guān)鍵詞屬于關(guān)鍵詞的概率，并根據(jù)所述概率確定是否將所述候選關(guān)鍵詞作為所述目標(biāo)文本的關(guān)鍵詞；

其中，所述有效特征的確定過程如下：

獲取多項(xiàng)候選特征和多個(gè)標(biāo)注樣本，所述標(biāo)注樣本是指已標(biāo)注出關(guān)鍵詞的文本；

對(duì)于每一項(xiàng)候選特征，統(tǒng)計(jì)在所述候選特征的各個(gè)特征值上的樣本占比；

如果所述樣本占比與所述候選特征的特征值之間的關(guān)系符合預(yù)設(shè)條件，則將所述候選特征確定為一項(xiàng)有效特征，每一項(xiàng)確定的有效特征用于在從任一目標(biāo)文本中提取關(guān)鍵詞時(shí)作為關(guān)鍵詞判定的依據(jù)；

其中，所述樣本占比為正樣本占比或負(fù)樣本占比，所述正樣本占比是指所述標(biāo)注樣本中正樣本的數(shù)量與所述標(biāo)注樣本的數(shù)量的比值，所述負(fù)樣本占比是指所述標(biāo)注樣本中負(fù)樣本的數(shù)量與所述標(biāo)注樣本的數(shù)量的比值，所述正樣本是指存在符合所述候選特征的特征值的關(guān)鍵詞的標(biāo)注樣本，所述負(fù)樣本是指不存在符合所述候選特征的特征值的關(guān)鍵詞的標(biāo)注樣本。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述候選關(guān)鍵詞對(duì)應(yīng)的有效特征和各項(xiàng)所述有效特征分別對(duì)應(yīng)的加權(quán)系數(shù)計(jì)算所述候選關(guān)鍵詞屬于關(guān)鍵詞的概率，并根據(jù)所述概率確定是否將所述候選關(guān)鍵詞作為所述目標(biāo)文本的關(guān)鍵詞，包括：

將所述候選關(guān)鍵詞對(duì)應(yīng)的有效特征輸入至關(guān)鍵詞評(píng)價(jià)模型，采用所述關(guān)鍵詞評(píng)價(jià)模型根據(jù)所述候選關(guān)鍵詞對(duì)應(yīng)的有效特征和各項(xiàng)所述有效特征分別對(duì)應(yīng)的加權(quán)系數(shù)計(jì)算所述候選關(guān)鍵詞屬于關(guān)鍵詞的概率，并根據(jù)所述概率確定是否將所述候選關(guān)鍵詞作為所述目標(biāo)文本的關(guān)鍵詞。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述候選關(guān)鍵詞對(duì)應(yīng)的有效特征作為關(guān)鍵詞評(píng)價(jià)模型的輸入之前，還包括：

將所述候選關(guān)鍵詞對(duì)應(yīng)的有效特征輸入至特征處理模型，采用所述特征處理模型對(duì)所述候選關(guān)鍵詞對(duì)應(yīng)的有效特征進(jìn)行預(yù)定處理，得到所述候選關(guān)鍵詞對(duì)應(yīng)的處理后的有效特征；

其中，所述候選關(guān)鍵詞對(duì)應(yīng)的處理后的有效特征作為所述關(guān)鍵詞評(píng)價(jià)模型的輸入，所述預(yù)定處理包括連續(xù)特征離散化處理、特征組合處理中的至少一種。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述候選關(guān)鍵詞對(duì)應(yīng)的有效特征作為特征處理模型的輸入之前，還包括：

構(gòu)建梯度提升決策樹GBDT算法的訓(xùn)練樣本；

采用GBDT算法對(duì)所述GBDT算法的訓(xùn)練樣本進(jìn)行訓(xùn)練，得到GBDT模型，將所述GBDT作為所述特征處理模型；

其中，所述GBDT算法的訓(xùn)練樣本包括第一正樣本和第一負(fù)樣本；所述第一正樣本為樣本文本中屬于關(guān)鍵詞的字詞，所述第一正樣本以所述樣本文本中屬于關(guān)鍵詞的字詞對(duì)應(yīng)的有效特征表示；所述第一負(fù)樣本為所述樣本文本中不屬于關(guān)鍵詞的字詞，所述第一負(fù)樣本以所述樣本文本中不屬于關(guān)鍵詞的字詞對(duì)應(yīng)的有效特征表示；所述GBDT模型包括多棵決策樹，所述決策樹的每一個(gè)葉子節(jié)點(diǎn)對(duì)應(yīng)于一項(xiàng)處理后的有效特征。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述采用GBDT算法對(duì)所述GBDT算法的訓(xùn)練樣本進(jìn)行訓(xùn)練，得到GBDT模型之后，還包括：

根據(jù)各個(gè)所述GBDT算法的訓(xùn)練樣本在各棵所述決策樹中的預(yù)測(cè)結(jié)果，構(gòu)建邏輯回歸LR算法的訓(xùn)練樣本；

采用LR算法對(duì)所述LR算法的訓(xùn)練樣本進(jìn)行訓(xùn)練，得到LR模型，將所述LR模型作為所述關(guān)鍵詞評(píng)價(jià)模型；

其中，所述LR算法的訓(xùn)練樣本包括第二正樣本和第二負(fù)樣本；所述第二正樣本為所述樣本文本中屬于關(guān)鍵詞的字詞，所述第二正樣本以所述樣本文本中屬于關(guān)鍵詞的字詞對(duì)應(yīng)的處理后的有效特征表示；所述第二負(fù)樣本為所述樣本文本中不屬于關(guān)鍵詞的字詞，所述第二負(fù)樣本以所述樣本文本中不屬于關(guān)鍵詞的字詞對(duì)應(yīng)的處理后的有效特征表示。