[發明專利]數據的處理方法及裝置、知識圖譜

有效

• 申請號: 201610200663.7
• 申請日: 2016-03-31
• 公開（公告）號: CN105893551B
• 公開（公告）日: 2019-03-05
• 發明（設計）人: 白楊;劉焱;朱頻頻
• 申請（專利權）人: 上海智臻智能網絡科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張鳳偉;吳敏

一種數據的處理方法及裝置、知識圖譜。所述方法包括：通過關鍵詞篩選操作從所有領域語料數據對應的詞語中篩選出一個或多個第一級關鍵詞，并將每條所述領域語料數據匹配到所述第一級關鍵詞；通過關鍵詞篩選操作從每個第一級關鍵詞對應的領域語料數據中篩選出一個或多個第二級關鍵詞，并將所述領域語料數據匹配到所述第二級關鍵詞；不斷重復上述篩選及匹配的過程，直至篩選出第M級關鍵詞，并將所述領域語料數據匹配到所述第M級關鍵詞，M大于或等于2；將所述第M級關鍵詞對應的領域語料數據按照語義進行文本聚類。應用所述方法對數據進行處理，從處理后的數據中可以更加快速、準確地查找到用戶需要的內容。

技術領域

本發明涉及數據處理領域，具體涉及一種數據的處理方法及裝置、知識圖譜。

背景技術

數據處理是系統工程和自動控制的基本環節，貫穿于社會生產和社會生活的各個領域，廣泛應用于知識圖譜以及知識庫的建立過程中。數據處理技術的發展及其應用的廣度和深度，極大地影響著人類社會發展的進程。

例如，在智能交互領域，通常需要對語料數據進行處理，以形成相應的知識庫，進而可以在接收到用戶的輸入后，根據用戶的輸入，從知識庫中搜索相應的內容并反饋至用戶。

然而，采用現有的數據處理方法對數據進行處理時，利用處理后的數據無法快速、準確地查找到用戶需要的內容，難以滿足用戶的需求。

發明內容

本發明解決的是如何對數據進行處理，以從處理后的數據中快速、準確地查找到用戶需要的內容。

為解決上述問題，本發明提供一種數據的處理方法，所述方法包括：

獲取原始語料數據；對所述原始語料數據執行過濾操作，以得到與目標領域相關的領域語料數據；對所述領域語料數據執行分詞操作，以得到與每條領域語料數據對應的一個或多個詞語；通過關鍵詞篩選操作從所有領域語料數據對應的詞語中篩選出一個或多個第一級關鍵詞，并將每條所述領域語料數據匹配到所述第一級關鍵詞；通過關鍵詞篩選操作從每個第一級關鍵詞對應的領域語料數據中篩選出一個或多個第二級關鍵詞，并將所述領域語料數據匹配到所述第二級關鍵詞；不斷重復上述篩選及匹配的過程，直至篩選出第M級關鍵詞，并將所述領域語料數據匹配到所述第M級關鍵詞，M大于或等于2；將所述第M級關鍵詞對應的領域語料數據按照語義進行文本聚類。

可選地，所述過濾操作采用分類器實現。

可選地，所述關鍵詞篩選操作包括采用N種不同方法獲取N組關鍵詞，每組中每個關鍵詞對應一個權重值，提取N組關鍵詞的交集，并提取其余關鍵詞中權重值大于預設閾值的關鍵詞，將提取的所有關鍵詞作為篩選出的關鍵詞，N大于或等于1。

可選地，獲取關鍵詞的方法包括以下方法中的一種或多種的組合：LDA主題模型分析方法、textrank方法、互信息方法和tfidf方法。

可選地，所述文本聚類包括：計算每個第M級關鍵詞對應的兩兩領域語料數據之間的語義距離和/或語義相似度，并采用Kmeans聚類方法或/和Canopy聚類方法將每個第M級關鍵詞對應的領域語料數據按照語義相關性進行排列。

可選地，所述方法還包括：根據篩選出的關鍵詞以及文本聚類結果形成知識圖譜。

可選地，所述方法還包括：當獲取新的語料數據時，對所述新的語料數據執行過濾操作，當所述新的語料數據為與目標領域相關的領域語料數據時，對所述新的語料數據進行分詞操作以及關鍵詞篩選操作，以使所述新的語料數據匹配到已有的第M級關鍵詞，并根據語義相關性將所述新的語料數據聚類到合適位置。

本發明實施例還提供了一種知識圖譜，所述知識圖譜包括M級關鍵詞，每級關鍵詞包括一個或多個關鍵詞，還包括多個語料數據，所述語料數據按照語義相關性匹配在相應的第M級關鍵詞上。