[發明專利]關鍵詞提取方法、裝置、終端設備及存儲介質

有效

• 申請號: 201911047440.1
• 申請日: 2019-10-30
• 公開（公告）號: CN110874530B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 趙洋;魏世勝;王宇;王亞奇
• 申請（專利權）人: 深圳價值在線信息科技股份有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/258;G06F16/33;G06F16/9535
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李娟

1.一種關鍵詞提取方法，其特征在于，包括：

采集待處理的多個文本，各個文本包括正文文本和標題文本；

分別計算每個正文文本中各個正文詞語的詞頻指數，基于多個正文文本中的各個目標正文詞語，生成正文關鍵詞集合；其中，所述目標正文詞語為按照所述詞頻指數排序后在對應的正文文本的預設排序區間內的正文詞語；

根據所述正文關鍵詞集合，計算每個標題文本的標題權重值，基于目標標題文本中的各個標題詞語，生成標題關鍵詞集合；其中，所述目標標題文本為所述標題權重值大于預設標題權重閾值的標題文本；

從所述正文關鍵詞集合和所述標題關鍵詞集合中提取目標關鍵詞；

其中，所述根據所述正文關鍵詞集合，計算每個標題文本的標題權重值，包括：

分別識別每個標題文本中的標題詞語是否包含于所述正文關鍵詞集合中；

若所述標題文本中的標題詞語包含于所述正文關鍵詞集合中，則按照第一數值遞增每個標題文本各自對應的重要度數值，每個標題文本的重要度數值的初始值相同；

分別計算每個標題文本各自對應的重要度數值與包含的標題詞語個數之間的比值，作為所述標題文本的標題權重值；

所述基于目標標題文本中的各個標題詞語，生成標題關鍵詞集合，包括：

統計目標標題詞語在全部目標標題文本中的出現次數的第三數目，以所述第三數目作為所述目標標題詞語的初始標題詞頻權重，其中，所述目標標題詞語為所述目標標題文本中的任一標題詞語；

若所述目標標題詞語為待識別對象名稱，則將第二數值與所述第三數目相乘，獲得所述目標標題詞語的標題詞頻權重，其中，所述第二數值大于所述第一數值；

按照所述標題詞頻權重對各個目標標題詞語進行排序，獲得標題關鍵詞集合。

2.根據權利要求1所述的方法，其特征在于，在所述采集待處理的多個文本之后，還包括：

分別將每個正文文本轉換為純文本格式，刪除所述純文本格式的正文文本中的特殊字符，獲得目標正文文本，所述特殊字符為非文字字符；

分別對每個目標正文文本和每個標題文本進行分詞，根據預設的停用詞表，刪除每個目標正文文本和每個標題文本中的停用詞和單個字。

3.根據權利要求1所述的方法，其特征在于，所述詞頻指數為詞頻-逆文本指數，所述分別計算每個正文文本中各個正文詞語的詞頻指數，包括：

統計每個正文文本中各個正文詞語的出現次數，以及統計全部正文文本中所有正文詞語的詞語總數，計算所述出現次數與所述詞語總數之間的第一比值；

統計所述全部正文文本的第一數目，以及統計包含當前待計算的正文詞語的目標正文文本的第二數目，計算所述第一數目與所述第二數目之間的第二比值；

將所述第一比值與所述第二比值相乘，獲得所述當前待計算的正文詞語的詞頻-逆文本指數。

4.根據權利要求3所述的方法，其特征在于，所述基于多個正文文本中的各個目標正文詞語，生成正文關鍵詞集合，包括：

根據每個正文文本中各個正文詞語的詞頻-逆文本指數，按照從大到小的順序對所述各個正文詞語進行排序，提取在預設排序區間內的多個目標正文詞語；

計算每個正文文本各自對應的目標正文詞語的正文詞頻權重，所述正文詞頻權重通過統計所述目標正文詞語在所述全部正文文本中的出現次數得到；

提取所述正文詞頻權重大于預設詞頻權重閾值的多個目標正文詞語，獲得正文關鍵詞集合。

5.根據權利要求1所述的方法，其特征在于，所述從所述正文關鍵詞集合和所述標題關鍵詞集合中提取目標關鍵詞，包括：

確定所述正文關鍵詞集合中各個正文關鍵詞的正文詞頻權重，以及，確定所述標題關鍵詞集合中各個標題關鍵詞的標題詞頻權重；

根據所述正文詞頻權重和所述標題詞頻權重，對所述各個正文關鍵詞和所述各個標題關鍵詞進行混合排序；

提取混合排序后處于目標排序區間的多個目標關鍵詞。