[發明專利]數據的處理方法及裝置、知識圖譜

有效

• 申請號: 201610200663.7
• 申請日: 2016-03-31
• 公開（公告）號: CN105893551B
• 公開（公告）日: 2019-03-05
• 發明（設計）人: 白楊;劉焱;朱頻頻
• 申請（專利權）人: 上海智臻智能網絡科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張鳳偉;吳敏

1.一種數據的處理方法，其特征在于，包括：

獲取原始語料數據；

對所述原始語料數據執行過濾操作，以得到與目標領域相關的領域語料數據；

對所述領域語料數據執行分詞操作，以得到與每條領域語料數據對應的一個或多個詞語；

通過關鍵詞篩選操作從所有領域語料數據對應的詞語中篩選出一個或多個第一級關鍵詞，并將每條所述領域語料數據匹配到所述第一級關鍵詞；

通過關鍵詞篩選操作從每個第一級關鍵詞對應的領域語料數據中篩選出一個或多個第二級關鍵詞，并將所述領域語料數據匹配到所述第二級關鍵詞；

不斷重復上述篩選及匹配的過程，直至篩選出第M級關鍵詞，并將所述領域語料數據匹配到所述第M級關鍵詞，M大于或等于2；

將所述第M級關鍵詞對應的領域語料數據按照語義進行文本聚類。

2.如權利要求1所述的數據的處理方法，其特征在于，所述過濾操作采用分類器實現。

3.如權利要求1所述的數據的處理方法，其特征在于，所述關鍵詞篩選操作包括采用N種不同方法獲取N組關鍵詞，每組中每個關鍵詞對應一個權重值，提取N組關鍵詞的交集，并提取其余關鍵詞中權重值大于預設閾值的關鍵詞，將提取的所有關鍵詞作為篩選出的關鍵詞，N大于或等于1。

4.如權利要求3所述的數據的處理方法，其特征在于，獲取關鍵詞的方法包括以下方法中的一種或多種的組合：LDA主題模型分析方法、textrank方法、互信息方法和tfidf方法。

5.如權利要求1所述的數據的處理方法，其特征在于，所述文本聚類包括：計算每個第M級關鍵詞對應的兩兩領域語料數據之間的語義距離和/或語義相似度，并采用Kmeans聚類方法或/和Canopy聚類方法將每個第M級關鍵詞對應的領域語料數據按照語義相關性進行排列。

6.如權利要求1所述的數據的處理方法，其特征在于，還包括：根據篩選出的關鍵詞以及文本聚類結果形成知識圖譜。

7.如權利要求1所述的數據的處理方法，其特征在于，還包括：當獲取新的語料數據時，對所述新的語料數據執行過濾操作，當所述新的語料數據為與目標領域相關的領域語料數據時，對所述新的語料數據進行分詞操作以及關鍵詞篩選操作，以使所述新的語料數據匹配到已有的第M級關鍵詞，并根據語義相關性將所述新的語料數據聚類到合適位置。

8.一種數據的處理裝置，其特征在于，包括：

獲取單元，適于獲取原始語料數據；

過濾單元，適于對所述原始語料數據執行過濾操作，以得到與目標領域相關的領域語料數據；

分詞單元，適于對所述領域語料數據執行分詞操作，以得到與每條領域語料數據對應的一個或多個詞語；

篩選單元，適于通過關鍵詞篩選操作從所有領域語料數據對應的詞語中篩選出一個或多個第一級關鍵詞，并將每條所述領域語料數據匹配到所述第一級關鍵詞；以及通過關鍵詞篩選操作從每個所述第一級關鍵詞對應的領域語料數據中篩選出一個或多個第二級關鍵詞，并將所述領域語料數據匹配到所述第二級關鍵詞；不斷重復上述篩選及匹配的過程，直至篩選出第M級關鍵詞，并將所述領域語料數據匹配到第M級關鍵詞，M大于或等于2；

聚類單元，適于將所述第M級關鍵詞對應的領域語料數據按照語義進行文本聚類。

9.如權利要求8所述的數據的處理裝置，其特征在于，所述過濾單元采用分類器實現所述過濾操作。

10.如權利要求8所述的數據的處理裝置，其特征在于，所述篩選單元適于采用如下方法執行所述關鍵詞篩選操作：采用N種不同方式獲取N組關鍵詞，每組中每個關鍵詞對應一個權重值，提取N組關鍵詞的交集，并提取其余關鍵詞中權重值大于預設閾值的關鍵詞，將提取的所有關鍵詞作為篩選出的關鍵詞，N大于或等于1。