[發明專利]關鍵詞提取方法和裝置

有效

• 申請號: 201611039501.6
• 申請日: 2016-11-10
• 公開（公告）號: CN108073568B
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 鮑曉
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/216;G06F40/30
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 朱雅男

本發明公開了一種關鍵詞提取方法和裝置，屬于信息處理技術領域。所述方法包括：從目標文本中提取候選關鍵詞；對于每一個候選關鍵詞，獲取候選關鍵詞對應的有效特征，有效特征是指對關鍵詞判定具有區分功能的特征；根據候選關鍵詞對應的有效特征和各項有效特征分別對應的加權系數計算候選關鍵詞屬于關鍵詞的概率，并根據概率確定是否將候選關鍵詞作為目標文本的關鍵詞。本發明使得特征的使用無需通過人工制定的規則來實現，從而解決了現有技術存在的問題，減小了關鍵詞提取的復雜度，且提高了關鍵詞提取的準確率。

技術領域

本發明涉及信息處理技術領域，特別涉及一種關鍵詞提取方法和裝置。

背景技術

關鍵詞提取(或稱為“關鍵詞抽取”，keywords extraction)技術是指從文本中提取關鍵詞的技術。關鍵詞提取技術在許多業務領域得到了廣泛應用，例如資訊業務、搜索業務、廣告業務等。

一些主流的關鍵詞提取技術通常基于詞頻特征提取關鍵詞。例如，基于TF-IDF(Term Frequency–Inverse Document Frequency，詞頻-反文檔頻率)算法的關鍵詞提取技術、基于TextRank算法的關鍵詞提取技術。在實際應用中發現，僅考慮詞頻特征提取得到的關鍵詞準確率并不高，還應當考慮字詞在文本中出現的位置、字詞與文本主題之間相關性、字詞的詞性等其它特征。

在現有技術中，提供了一種基于規則的多特征融合的關鍵詞提取方法，其具體流程如下：對目標文本進行分詞處理，得到多個字詞；采用TF-IDF算法或者TextRank算法計算各個字詞的關鍵詞評分；選取關鍵詞評分較高的若干個字詞作為候選關鍵詞；而后根據一些由人工制定的規則，從候選關鍵詞中選取關鍵詞。例如，過濾詞頻低的候選關鍵詞，召回詞頻高的候選關鍵詞；又例如，過濾與文本主題無關的候選關鍵詞，召回與文本主題相關的候選關鍵詞；再例如，召回在文本的標題中出現且被書名號括出的候選關鍵詞，等等。根據人工制定的規則對候選關鍵詞進行一系列的過濾和召回之后，最終剩下的候選關鍵詞即作為文本的關鍵詞。

在現有技術中，雖然考慮到了關鍵詞提取需要綜合考慮多方面的特征，但是由于對候選關鍵詞進行過濾和召回的規則是由人工制定的，如果考慮的特征較多，則需要制定大量的規則，這就導致關鍵詞提取的過程過于復雜。并且，人工制定的規則難免存在一些問題，例如規則不夠合理、準確，這也導致關鍵詞提取的準確率并不高。

發明內容

為了解決現有技術中關鍵詞提取的過程過于復雜且準確率不高的問題，本發明實施例提供了一種關鍵詞提取方法和裝置。所述技術方案如下：

第一方面，提供了一種關鍵詞提取方法，所述方法包括：

從目標文本中提取候選關鍵詞；

對于每一個候選關鍵詞，獲取所述候選關鍵詞對應的有效特征，所述有效特征是指對關鍵詞判定具有區分功能的特征；

根據所述候選關鍵詞對應的有效特征和各項所述有效特征分別對應的加權系數計算所述候選關鍵詞屬于關鍵詞的概率，并根據所述概率確定是否將所述候選關鍵詞作為所述目標文本的關鍵詞。

第二方面，提供了一種關鍵詞提取裝置，所述裝置包括：

提取模塊，用于從目標文本中提取候選關鍵詞；

第一獲取模塊，用于對于每一個候選關鍵詞，獲取所述候選關鍵詞對應的有效特征，所述有效特征是指對關鍵詞判定具有區分功能的特征；

第一確定模塊，用于根據所述候選關鍵詞對應的有效特征和各項所述有效特征分別對應的加權系數計算所述候選關鍵詞屬于關鍵詞的概率，并根據所述概率確定是否將所述候選關鍵詞作為所述目標文本的關鍵詞。

本發明實施例提供的技術方案帶來的有益效果包括：