[發明專利]一種基于大數據分析的核心語匯專題構建方法及系統

在審

• 申請號: 201810687746.2
• 申請日: 2018-06-28
• 公開（公告）號: CN108897737A
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 王建華;程國艮
• 申請（專利權）人: 中譯語通科技股份有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 北京萬貝專利代理事務所(特殊普通合伙) 11520
• 代理人: 馬紅

1.一種基于大數據分析的核心語匯專題構建方法，其特征在于，所述基于大數據分析的核心語匯專題構建方法包括：

(1)用戶指定專題的初始關鍵詞或者關鍵詞集合；

(2)專題相關文檔的獲取；

(3)從專題相關文檔集合中自動發現候選核心語匯集合及其關系，形成專題候選核心語匯圖譜；

(4)人工干預候選專題中的核心語匯，形成最終的專題輸出。

2.如權利要求1所述的基于大數據分析的核心語匯專題構建方法，其特征在于，所述專題相關文檔的獲取進一步包括：通過專題關鍵詞檢索相關文檔，基于返回的結果M篇文檔，計算專題的偽相關模型：

其中tw_mi表示第m個文檔中第i個特征詞的權重，權重采用TF-IDF來計算，＜tw_m1,tw_m2,...,tw_mn＞表示第m篇文檔的VSM向量；

利用M_p-topic模型對相關文檔計算相關度，重排序后選出專題相關的最終文檔集合的前P篇，并重新計算專題模型：

3.如權利要求1或2所述的基于大數據分析的核心語匯專題構建方法，其特征在于，所述從專題相關文檔集合中自動發現候選核心語匯集合及其關系，形成專題候選核心語匯圖譜進一步包括：基于專題相關文檔，提取關鍵詞作為特征詞；將特征詞作為節點構建特征圖G＝＜V,E＞，其中V表示節點集合，E表示特征詞的邊集合；兩個特征詞v₁和v₂在一個句子中存在，則存在一條邊e₁₂＝＜v₁,v₂＞；邊上的權重表示它們之間共現的次數；基于TextRank算法，計算每個詞的權重WS(V_i)：

其中，d為阻尼系數，取值范圍為0到1，代表從圖中某一特定點指向其他任意點的概率，w_ji用來表示兩個節點之間的邊連接的重要程度權重；V_i表示某個網頁，V_j表示鏈接到V_i的網頁(即V_i的入鏈)，S(V_i)表示網頁V_i的PR值，In(V_i)表示網頁V_i的所有入鏈的集合，Out(V_j)表示網頁；使用TextRank算法計算圖中各點的得分時，給圖中的點指定任意的初值，并遞歸計算直到收斂。

4.如權利要求1所述的基于大數據分析的核心語匯專題構建方法，其特征在于，所述人工干預候選專題中的核心語匯，形成最終的專題輸出進一步包括：綜合TextRank的打分，最終的模型為：

其中，cxn表示特征詞在相關文檔集合中出現的中國宣傳口報道數，CXN表示相關文檔集合中中國宣傳口報道總數；hx表示特征詞與核心語匯中詞的詞關聯的次數，有多少個關聯的特征詞已經在核心語匯中，LN是特征詞關聯的特征詞的總數；rn表示特征詞在相關文檔集合中出現的報道數，RN是相關文檔集合的總數；tr是TextRank分值；α，β，γ，λ是特征的權值。

5.一種應用權利要求1所述基于大數據分析的核心語匯專題構建方法的基于大數據分析的核心語匯專題構建系統，其特征在于，所述基于大數據分析的核心語匯專題構建系統包括：

專題指定模塊，用于用戶指定專題的初始關鍵詞或者關鍵詞集合；

專題相關文檔獲取模塊，用于用戶指定專題的相關數據集合或者用戶指定專題相關的數據源集合，基于指定的關鍵詞獲取多語言的專題相關文檔集合或者用戶不指定數據集合和數據源集合，基于指定的關鍵詞獲取多語言的專題相關文檔集合；

專題發現模塊，用于從專題相關文檔集合中自動發現候選核心語匯集合及其關系；形成專題候選核心語匯圖譜；

專題輸出模塊，用于人工干預候選專題中的核心語匯，形成最終的專題輸出。

6.一種實現權利要求1～4任意一項所述基于大數據分析的核心語匯專題構建方法的計算機程序。