[發明專利]一種抽取關鍵詞的方法及裝置

有效

• 申請號: 201210212574.6
• 申請日: 2012-06-21
• 公開（公告）號: CN102779119A
• 公開（公告）日: 2012-11-14
• 發明（設計）人: 翟周偉
• 申請（專利權）人: 盤古文化傳播有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

技術領域

本發明涉及自然語言處理領域，尤其涉及一種抽取關鍵詞的方法及裝置。

背景技術

目前，通常根據統計學方法對文本進行關鍵詞抽取時，根據對關鍵詞有重要影響的因子進行統計計算，然后對統計結果進行排序并確定候選關鍵詞集合。

例如，可以采用包括詞頻以及TF-IDF(term?frequency-inverse?document?frequency，詞頻-倒文檔頻率)等特征統計信息。采用基于詞頻抽取關鍵詞時，根據某個詞的詞頻越高，則該詞是關鍵詞的概率越大的規則進行抽取關鍵詞。首先統計文本中各個詞的詞頻，然后對統計的詞頻進行排序，確定詞頻最高的若干個詞為該文本的關鍵詞。基于TF-IDF抽取關鍵詞時，通過統計計算每一個詞的TF-IDF來確定關鍵詞。TF-IDF指某個詞或短語在一篇文章中出現的頻率高，并且在其他文章中出現的頻率低，則認為該詞或者短語具有很好的類別區分能力，則確定此詞或者短語為關鍵詞。

然而，采用現有技術抽取關鍵詞時，由于很多高詞頻的詞并不一定是關鍵詞，當采用TF-IDF方法時，主要應用于搜索引擎中索引詞的選擇，應用于文本關鍵詞的抽取時效果較差，因此導致確定的關鍵詞的準確率較低。

發明內容

本發明的實施例提供一種抽取關鍵詞的方法及裝置，可以提高確定的關鍵詞的準確率。

為達到上述目的，本發明的實施例采用如下技術方案：

一種抽取關鍵詞的方法，包括：

獲取文本經過詞法分析以及預處理后的詞語集合；

根據所述詞語集合，以及所述詞語集合中的各個詞語在所述文本中的語義關系，確定所述詞語集合中任意兩個詞語的語義相似度；

根據確定的所述語義相似度，計算所述詞語集合中的各個詞語的綜合測度；

根據所述各個詞語的綜合測度確定關鍵詞。

一種抽取關鍵詞的裝置，包括：

獲取單元，用于獲取文本經過詞法分析以及預處理后的詞語集合；

第一處理單元，用于根據所述詞語集合，以及所述詞語集合中的各個詞語在所述文本中的語義關系，確定所述詞語集合中任意兩個詞語的語義相似度；

第二處理單元，用于根據確定的所述語義相似度，計算所述詞語集合中的各個詞語的綜合測度；

關鍵詞確定單元，用于根據所述各個詞語的綜合測度確定關鍵詞。

本發明實施例提供一種抽取關鍵詞的方法及裝置，通過獲取文本經過詞法分析以及預處理后的詞語集合；根據所述詞語集合，以及所述詞語集合中的各個詞語在所述文本中的語義關系，確定所述詞語集合中任意兩個詞語的語義相似度；根據確定的所述語義相似度，計算所述詞語集合中的各個詞語的綜合測度；根據所述各個詞語的綜合測度確定關鍵詞。與現有技術中抽取關鍵詞時，由于很多高詞頻的詞并不一定是關鍵詞，當采用TF-IDF方法時，主要應用于搜索引擎中索引詞的選擇，應用于文本關鍵詞的抽取時效果較差，因此導致確定的關鍵詞的準確率較低相比，本發明實施例提供的方法根據詞語集合，以及所述詞語集合中的各個詞語在所述文本中的語義關系，及結合具體語境確定詞語語義相似度，從而可以提高確定的關鍵詞的準確率。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明實施例1提供的一種抽取關鍵詞的方法的流程圖；

圖2為本發明實施例2提供的另一種抽取關鍵詞的方法的流程圖；

圖3為本發明實施例2提供的語義相似度圖示意圖；

圖4為本發明實施例2提供的區域位置因子權值表；

圖5為本發明實施例3提供的一種抽取關鍵詞的裝置的框圖；

圖6為本發明實施例3提供的另一種抽取關鍵詞的裝置的框圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

實施例1

本發明實施例提供一種抽取關鍵詞的方法，如圖1所示，該方法包括：

步驟1?01，獲取文本經過詞法分析以及預處理后的詞語集合；