[發明專利]一種帶隱私保護的Spark工作流調度方法及系統

在審

• 申請號: 202010630182.6
• 申請日: 2020-07-03
• 公開（公告）號: CN111859447A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 顧海花;張霞;孫仁鵬;傅婧
• 申請（專利權）人: 南京信息職業技術學院
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F21/53;G06F9/50
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

1.一種帶隱私保護的Spark工作流調度方法，其特征是，包括：

a、根據隱私性規則對輸入數據進行判斷和標記，將符合隱私性規則的輸入數據標記為隱私數據，其余數據為普通數據；

b、將隱私數據和普通數據以分區為單位進行隱私性標記，含有隱私數據的分區標記為隱私分區，其余分區為普通分區；

c、將普通分區和需要以普通分區作為輸入的Spark就緒任務調度到Spark集群中的普通數據中心的節點上處理，得到第一輸出數據；將隱私分區和需要以隱私分區作為輸入的Spark就緒任務調度到Spark集群中指定的隱私數據中心的節點上處理，得到第二輸出數據；

d、判斷第一輸出數據和第二輸出數據是最終結果還是中間結果，若是最終結果則對應的工作流的流程結束；若是中間結果則將其作為輸入數據，重復進行步驟a~c，直至所有Spark就緒隊列中的Spark就緒任務全部處理完成，則流程結束。

2.根據權利要求1所述的帶隱私保護的Spark工作流調度方法，其特征是，在所述步驟a中，輸入數據按照多列和/或多個值確定是否具有隱私性，以行為單位進行隱私性標記，具體為：將包含指定列或者指定列中指定值的行標記為隱私數據，標記過后的數據應為，有行標記的那一行數據為隱私數據，沒有行標記的數據為普通數據。

3.根據權利要求1所述的帶隱私保護的Spark工作流調度方法，其特征是，在所述步驟b中，根據行數據的隱私性優化Spark分區器，使得帶有標記的行數據集中到指定分區中；以分區為單位進行隱私性標記，即在Spark內核中數據表示為RDD的數據結構，對RDD進行分區操作時，如果該數據分區中的行數據包含行標記，則將此分區標記為隱私分區；如果該數據分區中的所有數據都不包含行標記，則此分區不做標記，為普通分區。

4. 根據權利要求1所述的帶隱私保護的Spark工作流調度方法，其特征是， 所述最終結果不具有隱私性。

5.根據權利要求1所述的帶隱私保護的Spark工作流調度方法，其特征是，所述普通數據中心僅能處理普通數據；所述隱私數據中心既可以處理隱私數據又可以處理普通數據。

6.一種帶隱私保護的Spark工作流調度系統，其特征是，包括：

第一模塊，用于根據隱私性規則對輸入數據進行判斷和標記，將符合隱私性規則的輸入數據標記為隱私數據，其余數據為普通數據；

第二模塊，用于將隱私數據和普通數據以分區為單位進行隱私性標記，含有隱私數據的分區標記為隱私分區，其余分區為普通分區；

第三模塊，用于將普通分區和需要以普通分區作為輸入的Spark就緒任務調度到Spark集群中的普通數據中心的節點上處理，得到第一輸出數據；將隱私分區和需要以隱私分區作為輸入的Spark就緒任務調度到Spark集群中指定的隱私數據中心的節點上處理，得到第二輸出數據；

第四模塊，用于判斷第一輸出數據和第二輸出數據是最終結果還是中間結果，若是最終結果則對應的工作流的流程結束；若是中間結果則將其作為輸入數據，傳輸給第一模塊，直至所有Spark就緒隊列中的Spark就緒任務全部處理完成，則流程結束。

7.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征是，該程序被計算機執行時，實現權力要求1~5所述的方法。