[發明專利]一種基于多重余弦定理的文章相關度計算方法

在審

• 申請號: 201810859907.1
• 申請日: 2018-08-01
• 公開（公告）號: CN109086271A
• 公開（公告）日: 2018-12-25
• 發明（設計）人: 龍華;祁俊輝;彭藝;杜慶治
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于多重余弦定理的文章相關度計算方法，屬于信息處理技術領域。本發明將文章映射為實意詞向量和關鍵詞向量，并重新規劃詞權重，再利用多重余弦定理對現階段的文章相關度計算方法進行改進。摒棄單純利用TFIDF值做詞權重的方法，而是創新性地將TFIDF值、詞頻、詞性、詞長等加權累加；另一方面，對文章計算其相關度還使用了多重余弦定理，分別對其計算實意詞相關度和關鍵詞相關度，再由相關定義確定其最終相關度。本發明與現有技術相比，主要解決了現有技術準確性欠佳、分類易出錯、靈活性差等現象，增加了目前利用計算機對文章相關度計算的準確性。

技術領域

本發明涉及一種基于多重余弦定理的文章相關度計算方法，屬于信息處理技術領域。

背景技術

文章相關度的計算是信息處理領域中的一項基本研究工作，主要應用于文章分類、推薦等。

目前，對文章相關度的研究方法主要分為兩類：基于統計學和基于語義分析。這兩類方法都有各自的優缺點，其中基于統計學的方法需要大量文章作為訓練，基于語義分析的方法則需要提前準備較為完整的語義詞典。但是現階段，利用計算機對文章相關度的計算這一技術并不成熟，準確性欠佳、靈活性差等現象一直存在，在很多情況下還需要人工對其進行計算、估計。

發明內容

本發明要解決的技術問題是針對現有技術的局限和不足，提供一種基于多重余弦定理的文章相關度計算方法，主要解決利用計算機對文章相關度的計算這一技術準確性欠佳、靈活性差等現象。

本發明的技術方案是：一種基于多重余弦定理的文章相關度計算方法，該方法具體包括以下步驟：

Step0：獲取文章集合{X₁,X₂…X_p}，對文章X,X∈{X₁,X₂…X_p}進行預處理，并建立文章數據庫，具體如Step0.1～Step0.4所示；

Step0.1：對文章X進行分詞、去停用詞、同義詞替換等操作，生成文章的實意詞集合X:{x₁,x₂…x_m}；

Step0.2：以TFIDF值為主，該文章中出現該詞的詞頻、詞性、詞長為輔，遍歷Step0.1中得到的實意詞集合X:{x₁,x₂…x_m}，對每個實意詞x_i,i∈[1,m]求其權重，并生成實意詞權重集合Y:{y₁,y₂…y_m}；

Step0.3：以實意詞x_i,i∈[1,m]為key，權重y_i,i∈[1,m]為value，對Step0.2中得到的實意詞權重y_i,i∈[1,m]排序，選取權重最高的n個實意詞作為關鍵詞，并生成關鍵詞集合X':{x₁',x₂'…x_n'}和關鍵詞權重集合Y':{y₁',y₂'…y_n'}；

Step0.4：將文章X、實意詞集合X:{x₁,x₂…x_m}、實意詞權重集合Y:{y₁,y₂…y_m}、關鍵詞集合X':{x₁',x₂'…x_n'}及關鍵詞權重集合Y':{y₁',y₂'…y_n'}作為元組加入文章數據庫；

Step1：從文章數據庫中獲取待比較文章T和比較文章H；