[發明專利]一種文檔關鍵詞提取及基于文檔匹配商品的方法

在審

• 申請號: 201910553323.6
• 申請日: 2019-06-25
• 公開（公告）號: CN110287289A
• 公開（公告）日: 2019-09-27
• 發明（設計）人: 周楠;徐翔
• 申請（專利權）人: 北京金海群英網絡信息技術有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/335;G06Q30/06
• 代理公司: 北京市盈科律師事務所 11344
• 代理人: 李兆嶺

本發明提供一種文檔關鍵詞提取及基于文檔匹配商品的方法。目標文檔關鍵詞提取方法包括：利用TextRank技術，獲得目標文檔中m個詞的權重；在m個初始關鍵詞中，選擇權重靠前的n個詞作為初始關鍵詞；基于預定的策略，分別確定目標文檔中j個詞的預定IDF值；利用TF?IDF，分別確定目標文檔中j個詞在目標文檔中的TF值；基于預定IDF值和TF值，利用TF?IDF技術確定j個詞的TF?IDF權重；在j個詞中，選擇權重靠前的k個詞作為校驗關鍵詞；判斷各初始關鍵詞是否屬于校驗關鍵詞，如果為是，則將該初始關鍵詞作為文檔關鍵詞。

技術領域

本發明涉及文檔數據處理技術，特別是涉及一種文檔關鍵詞提取方法，還涉及一種基于文檔關鍵詞匹配商品的方法。

背景技術

隨著網絡應用越來廣泛，應用網絡推廣商品已經成為當前商品中推廣的重要方式。

在網絡空間中，其內容包括由文字等自然語言組成的文檔，還包括由數據形成的以圖片形式存在的商品。圖片形式商品并沒有詳細的描述，無法通過自然語言的方式進行搜索或相應處理。當前，主要采用的方式是：在文檔中提取相應關鍵詞，利用關鍵詞與商品屬性的匹配性，提高商品推廣的精確性。

當前，在文檔中提取關鍵詞的方式有兩大類：第一類為自然語言處理(NLP，Natural Language Processing)技術，如詞頻-逆文件頻率(TF-IDF，Term Frequency-Inverse Document Frequency)技術。另一類為復雜網絡的算法技術，如關鍵詞抽取(TextRank)技術。TF-IDF的基本原理為：確定預定關鍵詞在目標文檔中出現的次數，即詞頻(TF，term frequency)值。然后再確定包含該關鍵詞的文檔數量，即確定逆向文件頻率(IDF，inverse document frequency)，然后基于TF和IDF確定相應關鍵詞在目標文檔中頻率及該關鍵詞在整體文件集合(其他文檔)的底頻率，確定其在目標文檔中的重要程序，即TF-IDF權重。而TextRank是針對某一關鍵詞在目標文檔中的重要程序進行確定的技術，以確定關鍵詞的權重。

第一類NLP技術需要大量的文檔(語料集)進行訓練，關鍵詞權重的質量取決于語料集的質量和數量，要么無法保證關鍵詞權重準確性，要么存在提取效率低的不足。第二類雖然不需要大量的其他文檔，但其權重獲得僅基于目標文檔本身，沒有考慮其他文檔，無法體現文檔所在行業及環境情形，權重值可能存在較大偏差。

如何在保證關鍵詞提取效率的同時，保證關鍵詞權重的確認性，提高關鍵詞提取質量，進而為增加商品與目標文檔的匹配度，提高商品推薦的精確性，是本領域技術人員需要解決的技術難題。

發明內容

本發明的第一個目的是提供一種目標文檔關鍵詞提取方法，在保證關鍵詞提取效率的同時，保證關鍵詞權重的確認性，提高關鍵詞提取質量。

基于上述目標文檔關鍵詞提取方法，本發明還提供一種基于目標文檔匹配商品的方法，以增加商品與目標文檔的匹配度，提高商品推薦的精確性。

本發明提供的目標文檔關鍵詞提取方法，包括如下步驟：

S210，利用TextRank技術，獲得目標文檔中m個詞的權重；

S220，在m個初始關鍵詞中，選擇權重靠前的n個詞作為初始關鍵詞，其中，n≦m；

S230，基于預定的策略，分別確定目標文檔中j個詞的預定IDF值；

S240，利用TF-IDF，分別確定目標文檔中j個詞在目標文檔中的TF值；

S250，基于預定IDF值和TF值，利用TF-IDF技術確定j個詞的TF-IDF權重；

S260，在j個詞中，選擇權重靠前的k個詞作為校驗關鍵詞；其中，k≦j；