[發(fā)明專利]提取文本關鍵詞的方法、裝置、設備及存儲介質

在審

• 申請?zhí)枺?/td>: 201810304316.8
• 申請日: 2018-04-04
• 公開（公告）號: CN108563636A
• 公開（公告）日: 2018-09-21
• 發(fā)明（設計）人: 杜翠鳳
• 申請（專利權）人: 廣州杰賽科技股份有限公司;廣州杰賽通信規(guī)劃設計院有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 梁順宜;郝傳鑫

本發(fā)明公開了一種提取文本關鍵詞的方法，包括：對待匹配的至少兩個文本分別進行分詞處理，得到相應于每個文本的至少一個分詞；根據(jù)預設的賦值規(guī)則，計算所述每個文本中每個分詞的詞頻分值、詞性分值及位置分值；根據(jù)所述每個分詞的所述詞頻分值、所述詞性分值和所述位置分值，計算所述每個文本中的每個分詞的綜合權值；根據(jù)所述每個分詞的綜合權值，計算所述每個文本中的每個分詞的權重；根據(jù)所述每個文本中的每個分詞的權重，提取所述每個文本的關鍵詞。本發(fā)明還公開了一種提取文本關鍵詞的裝置、設備及存儲介質，可以解決文檔關鍵詞提取不精準的問題，使得在度量不同文檔之間的相似度時更加準確。

技術領域

本發(fā)明涉及計算機技術領域，尤其涉及一種提取文本關鍵詞的方法、裝置、設備及存儲介質。

背景技術

隨著科學技術的發(fā)展和社會法律的健全，目前一定規(guī)模的工程項目都需要通過招標的方法選擇合適的公司或單位，而參與投標的公司或單位則需要做好投標工作來提高競爭力。因此，投標文檔匹配度的研究已經(jīng)成為了當前投標中介增值業(yè)務的重要方向，而文檔匹配度研究的前提是文檔關鍵詞的提取，提取關鍵詞是自然語言領域的重要領域之一。

然而，發(fā)明人在實施本發(fā)明的過程中發(fā)現(xiàn)，現(xiàn)有技術中，在度量不同文檔之間的相似度時，通常采用TFI-DF算法來提取關鍵詞，而由于TFI-DF算法過度關注詞語的出現(xiàn)次數(shù)和頻率，沒有客觀地分配每個詞語的權重，不符合真實的情況，從而導致關鍵詞提取不精準，降低了度量得到的不同文檔之間的相似度的準確性。

發(fā)明內容

針對上述問題，本發(fā)明的目的在于提供一種提取文本關鍵詞的方法、裝置、設備及存儲介質，可以解決文檔關鍵詞提取不精準的問題，使得在度量不同文檔之間的相似度時更加準確。

第一方面，本發(fā)明實施例提供了一種提取文本關鍵詞的方法，包括以下步驟：

對待匹配的至少兩個文本分別進行分詞處理，得到相應于每個文本的至少一個分詞；

根據(jù)預設的賦值規(guī)則，計算所述每個文本中每個分詞的詞頻分值、詞性分值及位置分值；

根據(jù)所述每個分詞的所述詞頻分值、所述詞性分值和所述位置分值，計算所述每個文本中的每個分詞的綜合權值；

根據(jù)所述每個分詞的綜合權值，計算所述每個文本中的每個分詞的權重；

根據(jù)所述每個文本中的每個分詞的權重，提取所述每個文本的關鍵詞，使得根據(jù)不同文本的關鍵詞和所述關鍵詞的權重計算不同文本之間的相似度。

在第一方面的第一種實現(xiàn)方式中，所述對待匹配的至少兩個文本分別進行分詞，得到相應于每個文本的至少一個分詞，具體為：

利用分詞工具對待匹配的至少兩個文本分別進行分詞處理，生成相應于每個文本的分詞結果；

構建停用詞庫對每個所述分詞結果進行過濾，得到相應于每個文本的至少一個分詞。

在第一方面的第二種實現(xiàn)方式中，所述根據(jù)所述每個分詞的所述詞頻分值、所述詞性分值和所述位置分值，計算所述每個文本中的每個分詞的綜合權值，具體為：

根據(jù)所述每個文本的所述每個分詞的所述詞頻分值、所述詞性分值和所述位置分值，生成相應于每個文本的詞語矩陣；

根據(jù)所述詞語矩陣，計算所述每個文本中的每個分詞的綜合權值。

根據(jù)第一方面的第二種實現(xiàn)方式，在第一方面的第三種實現(xiàn)方式中，所述根據(jù)所述詞語矩陣，計算所述每個文本中的每個分詞的綜合權值，具體為：

對于每一個文本：

計算所述詞語矩陣中每個分詞的每個特征向量的熵權；

根據(jù)所述每個分詞的每個特征向量的熵權以及與所述每個特征向量對應的分值，計算所述每個分詞的綜合權值。