[發明專利]面向海量異構數據的模式集成方法及裝置

有效

• 申請號: 201711116061.4
• 申請日: 2017-11-13
• 公開（公告）號: CN107808001B
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 王宏志;李天寶;齊志鑫;童超宇;李戰懷;彭智勇;王國仁
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/28
• 代理公司: 11609 北京格允知識產權代理有限公司
• 代理人: 周嬌嬌;譚輝<國際申請>=<國際公布>=

1.一種面向海量異構數據知識庫的模式集成方法，其特征在于，包括以下步驟：

預處理步驟、對知識庫的數據進行處理，存儲知識庫中的邊信息，形成邊集，并構建聚類集合；

第一合并步驟、采用編輯距離連接方法處理取自所述邊集的模式集合，整合所述知識庫中與所述模式集合中形式上相似的屬性及相應的聚類集合；

第二合并步驟、采用語義連接方法處理取自所述邊集的模式集合，整合所述知識庫中與所述模式集合中語義上相似的屬性及相應的聚類集合；

檢驗步驟、對所述第一合并步驟和第二合并步驟所取得的結果集取并集，并進行假陽性檢驗。

2.根據權利要求1所述的面向海量異構數據知識庫的模式集成方法，其特征在于，所述預處理步驟包括：

邊信息子步驟、采用哈希算法存儲所述知識庫的邊信息，在邊的哈希值對應的空間內儲存邊的起點、終點以及邊的長度，得到存儲所述知識庫的邊信息的邊集；

聚類集合子步驟、聚類集合由二元組{U,S_U}構成，其中U集合是存儲相似屬性的屬性集合，而S_U集合中儲存的每個屬性至少和U集合中的一個屬性的距離小于閾值ε_t。

3.根據權利要求2所述的面向海量異構數據知識庫的模式集成方法，其特征在于，所述編輯距離連接方法處理步驟包括：

倒排表子步驟、構造起點屬性的q-gram倒排表，對于待集成的模式集合R和T，XR和ZR是根據所述模式集合R中屬性而構造的倒排表，其中，XR連接所述模式集合R的U集合，ZR連接所述模式集合R的S_U集合；XT和ZT是所述模式集合T中屬性而構造的倒排表，其中，XT連接所述模式集合T的U集合，ZT連接所述模式集合T的S_U集合；

相似屬性檢測子步驟、分別對XR和XT，XR和ZT，以及XT和ZR之間的編輯距離進行計算和比較，若三次比較中至少一次的結果判定有相似的屬性對，則將相似的屬性對所對應的聚類集合合并得到結果集，完成相似屬性檢測。

4.根據權利要求3所述的面向海量異構數據知識庫的模式集成方法，其特征在于，所述語義連接方法處理步驟包括：

初始化子步驟、輸入所述邊集中待集成的模式集合R，將所述模式集合R中每一個以任意屬性為起點的路徑加入到路徑集合P中，按照終點進行分組；

路徑擴展子步驟、γ為語義閾值，每執行一次連接操作，將上一次操作得到的路徑集合向外擴展一個單位距離，得到新的路徑集合，總計在所述知識庫中執行γ-1次連接操作，使得完成迭代后的路徑集合包含與所述屬性集合R中屬性相距至多為γ的概念；

集合維護子步驟、合并拓展后的路徑集合所對應的聚類集合，得到結果集。

5.根據權利要求4所述的面向海量異構數據知識庫的模式集成方法，其特征在于，所述檢驗步驟包括用值檢驗和人工檢驗對所述并集進行假陽性檢驗。

6.一種面向海量異構數據知識庫的模式集成裝置，其特征在于，包括：

預處理模塊，用于對知識庫的數據進行處理，存儲知識庫中的邊信息，形成邊集，并構建聚類集合；

第一合并模塊，用于采用編輯距離連接方法處理取自所述邊集的模式集合，整合所述知識庫中與所述模式集合中形式上相似的屬性及相應的聚類集合；

第二合并模塊，用于采用語義連接方法處理取自所述邊集的模式集合，整合所述知識庫中與所述模式集合中語義上相似的屬性及相應的聚類集合；

檢驗模塊，用于對所述第一合并模塊和第二合并模塊所取得的結果集取并集，并進行假陽性檢驗。