[發明專利]用于復雜網絡的分布式知識數據挖掘裝置和挖掘方法

有效

• 申請號: 201310042046.5
• 申請日: 2013-02-01
• 公開（公告）號: CN103136337A
• 公開（公告）日: 2013-06-05
• 發明（設計）人: 賀志強;牛凱;梁彬
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 夏憲富

1.一種用于復雜網絡的分布式知識數據挖掘裝置，其特征在于：該裝置設有三個部件：控制單元、計算單元和人機交互單元，其中：

人機交互單元，用于實現人機交互功能，向用戶提供包括針對知識數據的聚類、關系度計算或權值計算的可選功能，在用戶選擇后，接收用戶指令，并轉送給控制單元執行相應操作；且在運算結束后，將控制單元處理完成的數據，結合用戶所選擇的功能，以適宜方式顯示給用戶；該單元以.NET開發為主，利用包括WPF的框架模塊實現數據的圖形化顯示和交互；

控制單元，用于接收人機交互單元輸入的指令，并以分布式平臺特性和功能，按照包括MapReduce機制的設定方式控制和分配計算任務，并統一匯總計算單元的計算結果，反饋給人機交互單元進行顯示；

計算單元，負責完成控制單元分配的計算任務，并將計算結果反饋給控制單元，設有：數據采集，相關度計算，權重計算，聚類和預測共五個模塊。

2.根據權利要求1所述的裝置，其特征在于：所述計算單元各個模塊的功能如下：

數據采集模塊，用于使用爬蟲工具或開放的應用程序接口API在線采集包括科研項目、專利和論文的知識數據，再采用包括正則表達式分析、過濾和刪除無用數據和非法字符的方法對該知識數據進行預處理：建立能夠藉由科研項目負責人、專利申請人、發明人或專利權人，以及論文作者的關系尋找到知識數據的索引，然后將其存入分布式數據庫中，作為后續計算的數據源；

相關度計算模塊，用于計算已有知識數據的相關度：遍歷數據庫中的知識數據，根據設定的相關度計算規則，量化知識數據屬性的相關程度，計算每個知識數據與其他知識數據的相關度，得到每兩個知識數據之間的相關度；

權值計算模塊，用于計算現有知識數據的權重：遍歷數據庫中現有的知識數據，根據設定規則和知識數據自身的屬性特征，計算每個知識數據的權值；

聚類模塊，負責完成對現有知識數據的聚類：利用知識數據的相關度及其自身權值，構建知識數據網絡，再利用聚類算法對知識數據進行聚類，把相似或相關的知識數據聚集在一起，發現或得到知識數據網絡的社團結構；

預測模塊，用于根據知識數據的聚類結果，采用包括時間序列分析和神經網絡算法對知識數據的發展趨勢和動向進行預測。

3.根據權利要求1所述的裝置，其特征在于：該裝置的計算單元采用分布式處理軟件架構Hadoop平臺對知識數據實現分布式計算處理，即利用該Hadoop平臺中包括映射Map和化簡Reduce兩個處理過程的MapReduce機制，作為該計算單元使用的分布式計算方法，對知識數據進行有效分割和重組，并減少數據處理時間，提高數據處理效率。

4.根據權利要求3所述的裝置，其特征在于：所述MapReduce計算機制用于實現聚類過程，即把對知識數據的聚類計算分為Map和Reduce兩個過程：先使用Map操作并行地將原始知識數據轉換為可聚類的格式，并給不同服務器分配互不重復的知識數據，且每個服務器根據給定的k值隨機選取k個知識數據作為初始聚類中心，并對其按照順序編號，對這些知識數據同時進行初始劃分后，開始對每個知識數據執行初始劃分和下述迭代操作：每個服務器在Map階段分別讀出位于本地的知識數據，并計算每個知識數據到各初始聚類中心的距離，將其歸屬到最近的初始聚類中心，再將本次聚類的結果在Reduced過程中返回；Reduce過程是得到所有知識數據的聚類結果，并對各服務器聚類結果進行合并后，在每個新的聚類中選取權值最大的知識數據作為新的聚類中心；重復執行上述Map和Reduce操作，直到聚類中心不再變化或達到最大迭代次數時，結束迭代，并輸出每個知識數據歸屬的聚類信息；以簡化分布式計算的底層復雜性，并向用戶提供簡單、可靠的應用接口。

5.根據權利要求1所述的裝置，其特征在于：所述知識數據包括科研項目、科研人員、專利和論文的四個維度信息，是由科研項目、專利和論文的數據經過預處理得到的，同時，將科研項目、科研人員、專利和論文相互關聯起來。