[發明專利]一種改進的TextRank關鍵詞提取方法及裝置

有效

• 申請號: 202110201095.3
• 申請日: 2021-02-23
• 公開（公告）號: CN112948527B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 趙娜;楊燕;王瑩港;郁湧;王劍;康雁;王鑫鍇;張強薦;胡盛;柴焰明;龍鎮;文俊杰;馬偉云
• 申請（專利權）人: 云南大學
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/35;G06F40/284
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

1.一種改進的TextRank關鍵詞提取方法，其特征在于，包括：

獲取初始文本，并對所述初始文本進行預處理，確定候選關鍵詞總集；所述預處理是指將所述初始文本劃分為多個句子，對任一句子進行分詞、詞性標注、詞性過濾以及去停用詞處理后，確定任一句子對應的候選關鍵詞集；所述候選關鍵詞總集包括多個候選關鍵詞集；

根據候選關鍵詞總集，構建詞共現網絡；

根據所述詞共現網絡，獲取第一節點及第二節點，所述第一節點為任一節點，所述第二節點為所述第一節點任一相鄰的節點；

獲取所述第一節點的度中心性，以及，獲取所述第二節點的度中心性；

獲取所述第一節點的聚類系數，以及，獲取所述第二節點的聚類系數；

根據所述第一節點的度中心性、所述第一節點的聚類系數和預設的可調節參數，確定所述第一節點的初始權重；以及，根據所述第二節點的度中心性、所述第二節點的聚類系數和所述可調節參數，確定所述第二節點的初始權重，

所述確定第一節點和第二節點的初始權重按照如下方法計算獲得：

根據所述第一節點的度中心性、所述第一節點的聚類系數和預設的可調節參數，確定所述第一節點的初始權重，以及，根據所述第二節點的度中心性、所述第二節點的聚類系數和所述可調節參數，確定所述第二節點的初始權重，

具體通過如下公式計算所述第一節點v_i的初始權重wc_i：

wc_i＝α*kc_i+β*cc_i；

其中，kc_i為所述第一節點v_i的度中心性，cc_i為所述第一節點v_i的聚類系數，α、β為可調節參數，且α+β＝1，

同理可以獲取所述第二節點v_j的初始權重wc_j；

根據所述詞共現網絡，獲取節點總數、第一相鄰節點的集合、第二相鄰節點的集合，所述第一相鄰節點是指與所述第一節點相鄰的節點，所述第二相鄰節點是指與所述第二節點相鄰的節點；

根據所述第一節點的初始權重、所述第二節點的初始權重、所述第一相鄰節點的集合和所述第二相鄰節點的集合，確定所述第一節點與所述第二節點之間的連邊權重，

所述計算第一節點與第二節點之間的連邊權重的方法如下：

根據所述第一節點的初始權重、所述第二節點的初始權重、所述第一相鄰節點的集合和所述第二相鄰節點的集合，確定所述第一節點與所述第二節點之間的連邊權重，包括：

通過如下公式確定所述第一節點與所述第二節點之間的連邊權重：

其中，w_ij表示所述第一節點v_i與所述第二節點v_j之間的連邊權重，wc_i表示所述第一節點v_i的初始權重，wc_j表示所述第二節點v_j的初始權重，τ(i)表示所述第一相鄰節點的集合，τ(j)表示所述第二相鄰節點的集合，具體來說∑_keτ(i)wc_k表示將所有第一相鄰節點對應的初始權重進行求和，∑_keτ(j)wc_k表示將所有第二相鄰節點對應的初始權重進行求和；

根據所述節點總數、預設的阻尼系數、所述第一相鄰節點的集合、所述第一節點與所述第二節點之間的連邊權重和所述第二節點的初始權重，確定所述第一節點的重要性分值，

所述第一節點的重要性分值按如下方式計算：

首先賦給所有節點一個相同的初始值；即所述第一節點v_i的初始重要性分值S(v_i)₀，所述第二節點v_j的初始重要性分值S(v_j)₀，且S(v_i)₀＝S(v_j)₀，

進一步通過如下公式進行迭代計算：

其中，d表示阻尼系數，N表示詞共現網絡中節點的個數，wc_j表示所述第二節點v_j的初始權重；

在進行迭代計算的過程中，所述第一節點v_i的重要性分值和所述第二節點v_j的重要性分值都是在不斷更新變化的，當存在S(v_i)_n與S(v_i)_n-1之間的誤差小于0.001時，便停止迭代，并輸出此時第一節點v_i的重要性分值S(v_i)_n；

根據所述第一節點的重要性分值和預設的位置系數，確定所述第一節點的最終權重；

根據所述第一節點的最終權重，對全部節點進行降序排列并舍去單字詞節點，確定所述初始文本的關鍵詞。