[發明專利]一種帶隱私保護的Spark工作流調度方法及系統

在審

• 申請號: 202010630182.6
• 申請日: 2020-07-03
• 公開（公告）號: CN111859447A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 顧海花;張霞;孫仁鵬;傅婧
• 申請（專利權）人: 南京信息職業技術學院
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F21/53;G06F9/50
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開了屬于Spark大數據處理技術領域的一種帶隱私保護的Spark工作流調度方法及系統，能夠將帶有隱私性的數據放在指定的數據中心進行處理，滿足了隱私保護的需求，同時提高了整個Spark工作流的處理效率，減少了執行時間。根據隱私性規則將輸入數據分為隱私數據和普通數據；再以分區為單位進行隱私性標記，分為隱私分區和普通分區；將普通分區作為輸入的Spark就緒任務調度到普通數據中心處理，得到第一輸出數據；將隱私分區作為輸入的Spark就緒任務調度到隱私數據中心處理，得到第二輸出數據；判斷第一輸出數據和第二輸出數據是最終結果還是中間結果，若是中間結果則重新進行隱私性確認、標記、分區，直至所有Spark就緒隊列中的Spark就緒任務全部處理完成。

技術領域

本發明屬于Spark大數據處理技術領域，具體涉及一種帶隱私保護的Spark工作流調度方法及系統。

背景技術

Spark是基于并行計算技術的較新的分布式計算框架，Spark的內核使用一種稱為RDDs(彈性分布式數據集)的數據結構來對分布式數據提供統一的視圖。然而，RDDs中表示的數據可能導致應用程序處理的隱私數據泄漏，且Spark默認的兩種調度策略FIFO和FAIR都無法對隱私數據進行有效保護。這使得在一些輸入數據帶有少量隱私保護要求，且處理結果能夠分享給外界的場景中，Spark框架無法靈活地處理。一個Spark應用通常包含一組有偏序關系的作業，一個作業中又能劃分為一組有偏序關系的階段，拓撲關系有嵌套的層次結構，所以整個Spark應用任務的拓撲排序組合數量相當大，很難得到一個目標為最小化完工時間的最佳序列。

目前用于數據安全和隱私保護的三種主要技術有數據加密技術、數據匿名化方法和數據分片技術，對數據進行加密是一種傳統的數據保護技術，可以用于數據加密存儲與數據加密處理。但是對數據進行加密解密操作，將不可避免的導致計算開銷的增大，且如果密鑰泄露，將導致數據的隱私和安全性得不到保障。匿名化技術主要采用隱藏和泛化等方法用于對要公開發布的信息進行隱私保護。數據分割是一種基于分割敏感數據的保護技術，包含垂直分割和水平分割兩種。

發明內容

為解決現有技術中的不足，本發明提供一種帶隱私保護的Spark工作流調度方法及系統，能夠將帶有隱私性的數據放在指定的數據中心進行處理，滿足了隱私保護的需求，同時提高了整個Spark工作流的處理效率，減少了執行時間。

為達到上述目的，本發明所采用的技術方案是：一種帶隱私保護的Spark工作流調度方法，包括：a、根據隱私性規則對輸入數據進行判斷和標記，將符合隱私性規則的輸入數據標記為隱私數據，其余數據為普通數據；b、將隱私數據和普通數據以分區為單位進行隱私性標記，含有隱私數據的分區標記為隱私分區，其余分區為普通分區；c、將普通分區和需要以普通分區作為輸入的Spark就緒任務調度到Spark集群中的普通數據中心的節點上處理，得到第一輸出數據；將隱私分區和需要以隱私分區作為輸入的Spark就緒任務調度到Spark集群中指定的隱私數據中心的節點上處理，得到第二輸出數據；d、判斷第一輸出數據和第二輸出數據是最終結果還是中間結果，若是最終結果則對應的工作流的流程結束；若是中間結果則將其作為輸入數據，重復進行步驟a~c，直至所有Spark就緒隊列中的Spark就緒任務全部處理完成，則流程結束。

進一步地，在所述步驟a中，輸入數據按照多列和/或多個值確定是否具有隱私性，以行為單位進行隱私性標記，具體為：將包含指定列或者指定列中指定值的行標記為隱私數據，標記過后的數據應為，有行標記的那一行數據為隱私數據，沒有行標記的數據為普通數據。

進一步地，在所述步驟b中，根據行數據的隱私性優化Spark分區器，使得帶有標記的行數據集中到指定分區中；以分區為單位進行隱私性標記，即在Spark內核中數據表示為RDD的數據結構，對RDD進行分區操作時，如果該數據分區中的行數據包含行標記，則將此分區標記為隱私分區；如果該數據分區中的所有數據都不包含行標記，則此分區不做標記，為普通分區。

進一步地， 所述最終結果不具有隱私性。