[發明專利]一種頻繁項集的挖掘方法、裝置及系統

在審

• 申請號: 201610200506.6
• 申請日: 2016-03-31
• 公開（公告）號: CN107291734A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 胡輝;謝黎文;楊軍;劉義
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產權代理有限公司11315
• 代理人: 黃熊

1.一種頻繁項集的挖掘方法，其特征在于，包括：

主節點在接收到客戶端指派的針對總數據的頻繁項集挖掘任務后，按照預定的數據分割規則對所述總數據進行數據分割得到各子數據；

所述主節點將各子數據分配給至少兩個用于并行執行頻繁項集挖掘任務的第一階段任務的從屬節點；所述第一階段任務具體包括：所述從屬節點根據預設的最小支持度閾值，利用頻繁項集挖掘算法對被分配的子數據進行頻繁項集挖掘，得到所述子數據的頻繁項集；

所述主節點將所述子數據的頻繁項集分配至用于并行執行頻繁項集挖掘任務的第二階段任務的各從屬節點；所述第二階段任務，包括：用于執行第二階段任務的各從屬節點根據預設的最小支持度閾值和所述子數據的頻繁項集，獲取所述總數據的頻繁項集。

2.如權利要求1所述方法，其特征在于，根據預設的最小支持度閾值和所述子數據的頻繁項集，獲取所述總數據的頻繁項集，包括：

計算各子數據的頻繁項集在所述總數據中的支持度；

將在所述總數據中的支持度不小于所述預設的最小支持度閾值的子數據的頻繁項集，作為所述總數據的頻繁項集。

3.如權利要求1所述方法，其特征在于，根據預設的最小支持度閾值和所述子數據的頻繁項集，獲取所述總數據的頻繁項集，包括：

根據所述最小支持度閾值和事務數據集中事務的數量，得到最小支持度計數閾值；所述事務數據集為所述總數據中包含的事務構成的集合；

利用映射歸約算法計算各子數據的頻繁項集在所述總數據中的支持度計數；

將在所述總數據中的支持度計數不小于所述預設的最小支持度計數閾值的子數據的頻繁項集，作為所述總數據的頻繁項集。

4.如權利要求1所述方法，其特征在于，根據預設的最小支持度閾值， 利用頻繁項集挖掘算法對從屬節點被分配的子數據進行頻繁項集挖掘，包括：

根據預設的最小支持度閾值，利用基于映射歸約算法的頻繁項集挖掘算法對從屬節點被分配的子數據進行頻繁項集挖掘。

5.如權利要求1所述方法，其特征在于，所述頻繁項集挖掘算法包括下述至少一種：

先驗頻繁項集挖掘算法；

頻繁模式樹算法。

6.如權利要求1所述方法，其特征在于，所述方法還包括：

在接收到客戶端指派的針對所述總數據的關聯規則挖掘任務后，將所述關聯規則挖掘任務分配至用于執行關聯規則挖掘任務的各從屬節點，以使得所述用于執行關聯規則挖掘任務的各從屬節點并行執行所述關聯規則挖掘任務；

所述關聯規則挖掘任務，包括：在獲取所述總數據的頻繁項集后，根據預設的最小置信度閾值和所述總數據的頻繁項集，獲得所述總數據的關聯規則。

7.如權利要求5所述方法，其特征在于，根據預設的最小置信度閾值和所述總數據的頻繁項集，獲得所述總數據中的關聯規則，包括：

獲取所述總數據的頻繁項集中的頻繁k-項集；

根據所述頻繁k-項集得到待定關聯規則；

計算所述待定關聯規則的置信度；

將置信度不小于所述預設的最小置信度閾值的所述待定關聯規則，作為所述總數據中的關聯規則。

8.一種頻繁項集的挖掘裝置，其特征在于，包括：

從屬節點確定單元，用于在接收到客戶端指派的針對總數據的頻繁項集挖掘任務后，按照預定的數據分割規則對所述總數據進行數據分割得到各子數據；

子數據的頻繁項集獲取單元，用于將各子數據分配給至少兩個用于并行執行頻繁項集挖掘任務的第一階段任務的從屬節點；所述第一階段任務具體包 括：所述從屬節點根據預設的最小支持度閾值，利用頻繁項集挖掘算法對被分配的子數據進行頻繁項集挖掘，得到所述子數據的頻繁項集；

總頻繁項集獲取單元，用于將所述子數據的頻繁項集分配至用于并行執行頻繁項集挖掘任務的第二階段任務的各從屬節點；所述第二階段任務，包括：用于執行第二階段任務的各從屬節點根據預設的最小支持度閾值和所述子數據的頻繁項集，獲取所述總數據的頻繁項集。

9.如權利要求8所述裝置，其特征在于，所述頻繁項集挖掘算法包括下述至少一種：

先驗頻繁項集挖掘算法；

頻繁模式樹算法。