[發明專利]基于度量空間的支撐點并行枚舉方法及裝置

有效

• 申請號: 201810540034.8
• 申請日: 2018-05-30
• 公開（公告）號: CN108804383B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 毛睿;胡梓良;劉開南;陸敏華;陸克中;羅秋明;雷海軍;蔡曄;王毅;廖好;周池
• 申請（專利權）人: 深圳大學
• 主分類號: G06F17/10
• 分類號: G06F17/10;G06F9/50
• 代理公司: 深圳市恒申知識產權事務所(普通合伙) 44312
• 代理人: 袁文英

本發明公開了一種基于度量空間的支撐點并行枚舉方法及裝置，該方法包括：調用消息傳遞接口，將待計算數據分發到M個節點，每個節點分配到一份數據集；控制該M個節點分別調用分叉函數，在每個節點內創建N個子進程，并將節點對應的數據集分配至N個子進程，使得每個子進程分配到一份子數據集，且N等于每個節點包含的GPU的個數，控制各M個節點內創建的N個子進程運行，通過N個子進程一對一控制相應節點內的N個GPU，利用GPU遍歷對應子進程的子數據集中的數據，進行支撐點的并行枚舉，并保存枚舉結果。通過上述方式，能夠有效實現支撐點的并行枚舉，有效縮短支撐點枚舉所消耗的時間，及提高數據計算的性能。

技術領域

本發明涉及大數據挖掘領域，尤其涉及一種基于度量空間的支撐點并行枚舉方法及裝置。

背景技術

目前，已經有一些支撐點選取算法，但是不同算法間的性能差別往往不大，用復雜的數學工具以很高的構建計算代價得到的支撐點帶來的索引性能提升往往相對較少。

隨著數據量增大，將會出現計算量呈指數級上升，計算時間過長的問題，將影響到整個領域的研究進度，因此，研究一種計算時間短的支撐點枚舉方式是目前亟待解決的問題。

發明內容

本發明的主要目的在于提供一種基于度量空間的支撐點并行枚舉方法，旨在解決現有技術中支撐點枚舉方法存在計算時間長的技術問題。

為實現上述目的，本發明第一方面提供一種基于度量空間的支撐點并行枚舉方法，包括：

調用消息傳遞接口，將待計算數據分發到M個節點，每個節點分配到一份數據集，其中，M為正整數；

控制所述M個節點調用分叉函數，在每個節點內創建N個子進程，并將節點對應的數據集分配至N個子進程，使得每個子進程分配到一份子數據集，所述N為正整數，其中，每個節點都包含N個圖形處理器GPU；

控制各所述M個節點內創建的N個子進程運行，通過所述N個子進程一對一控制相應節點內的N個GPU，利用所述GPU遍歷對應子進程的子數據集中的數據，進行支撐點的并行枚舉，并保存枚舉結果。

為實現上述目的，本發明第二方面提供一種基于度量空間的支撐點并行枚舉的裝置，包括：

調用分配模塊，用于調用消息傳遞接口，將待計算數據分發到M個節點，每個節點分配到一份數據集，其中，M為正整數；

控制處理模塊，用于控制所述M個節點調用分叉函數，在每個節點內創建N個子進程，并將節點對應的數據集分配至N個子進程，使得每個子進程分配到一份子數據集，所述N為正整數，其中，每個節點都包含N個圖形處理器GPU；

遍歷枚舉模塊，用于控制各所述M個節點內創建的N個子進程運行，通過所述N個子進程一對一控制相應節點內的N個GPU，利用所述GPU遍歷對應子進程的子數據集中的數據，進行支撐點的并行枚舉，并保存枚舉結果。

本發明提供一種基于度量空間的支撐點并行枚舉方法，包括：調用消息傳遞接口，將待計算數據分發到M個節點，每個節點分配到一份數據集，其中，該M為正整數；控制該M個節點分別調用分叉函數，在每個節點內創建N個子進程，并將節點對應的數據集分配至N個子進程，使得每個子進程分配到一份子數據集，該N為正整數，且等于每個節點包含的GPU的個數，并控制各M個節點內創建的N個子進程運行，通過N個子進程一對一控制相應節點內的N個GPU，利用GPU遍歷對應子進程的子數據集中的數據，進行支撐點的并行枚舉，并保存枚舉結果。相對于現有技術，通過將調用消息傳遞接口的方式，將待計算數據分發至M個節點，并繼續分配至節點的N個子進程中，使得N個子進程能夠并行運算，能夠有效實現支撐點的并行枚舉，有效縮短支撐點枚舉所消耗的時間，且進一步通過子進程調用GPU，由于GPU本身具有多線程運行，并行能力強的特點，基于GPU進行并行枚舉，能夠進一步縮短支撐點枚舉所需要的時間，有效提高數據計算的性能。

附圖說明