[發明專利]一種大數據處理方法和系統

在審

• 申請號: 201710630773.1
• 申請日: 2017-07-28
• 公開（公告）號: CN107392051A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 李林;喻波;王志海;董愛華;安鵬
• 申請（專利權）人: 北京明朝萬達科技股份有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62
• 代理公司: 北京潤澤恒知識產權代理有限公司11319
• 代理人: 莎日娜

1.一種大數據處理方法，其特征在于，應用于數據庫代理系統，所述數據庫代理系統包括數據庫代理模塊、數據探查模塊、數據脫敏模塊，所述方法包括：

所述數據庫代理模塊接收應用客戶端數據訪問請求，根據所述數據訪問請求確定目標源數據庫中的目標數據和對所述目標數據的操作類型；

所述數據庫代理模塊按照所述操作類型對所述目標數據進行操作，得到所述目標源數據庫返回的操作結果；

所述數據探查模塊按照目標探查策略對所述操作結果進行敏感數據的探查，確定所述操作結果中的敏感數據；

所述數據脫敏模塊按照預設脫敏策略對所述操作結果中的敏感數據進行脫敏處理，得到脫敏后的響應數據；

所述數據庫代理模塊將所述響應數據返回至所述應用客戶端。

2.根據權利要求1所述的方法，其特征在于，所述數據探查模塊包括預設探查策略，所述數據探查模塊按照目標探查策略對所述操作結果進行敏感數據的探查，確定所述操作結果中的敏感數據之前，所述方法還包括：

所述數據探查模塊接收目標探查策略的配置信息，根據所述目標探查策略的配置信息對所述預設探查策略進行配置，得到目標探查策略。

3.根據權利要求2所述的方法，其特征在于，所述預設探查策略包括：不同類型的源數據庫的屬性信息。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

所述數據探查模塊按照目標探查策略對所述操作結果進行敏感數據的探查，生成探查過程中的探查日志；

所述數據探查模塊根據所述探查日志對所述探查過程進行審計處理，生成探查審計報告數據。

5.根據權利要求1所述的方法，其特征在于，所述數據探查模塊按照目標探查策略對所述操作結果進行敏感數據的探查，確定所述操作結果中的敏感數據之后，所述方法還包括：

所述數據探查模塊根據預設的數據庫或數據表與具有訪問權限的客戶端的對應關系，確定所述應用客戶端是否對所述敏感數據所對應的數據庫或數據表具有訪問權限；

若是，則所述數據探查模塊將所述敏感數據進行可視化展現；

若否，則所述數據探查模塊按照預設脫敏策略對所述操作結果中的敏感數據進行脫敏處理，得到脫敏后的響應數據。

6.一種大數據處理系統，其特征在于，包括：

數據庫代理系統、源數據庫；

所述數據庫代理系統包括：數據庫代理模塊、數據探查模塊、數據脫敏模塊；

所述數據庫代理模塊，用于接收應用客戶端數據訪問請求，根據所述數據訪問請求確定目標源數據庫中的目標數據和對所述目標數據的操作類型；

所述數據庫代理模塊，用于按照所述操作類型對所述目標數據進行操作，得到所述目標源數據庫返回的操作結果；

所述數據探查模塊，用于按照目標探查策略對所述操作結果進行敏感數據的探查，確定所述操作結果中的敏感數據；

所述數據脫敏模塊，用于按照預設脫敏策略對所述操作結果中的敏感數據進行脫敏處理，得到脫敏后的響應數據；

所述數據庫代理模塊，用于將所述響應數據返回至所述應用客戶端。

7.根據權利要求6所述的系統，其特征在于，所述數據探查模塊包括預設探查策略，所述數據探查模塊，用于接收目標探查策略的配置信息，根據所述目標探查策略的配置信息對所述預設探查策略進行配置，得到目標探查策略。

8.根據權利要求7所述的系統，其特征在于，所述預設探查策略包括：不同類型的源數據庫的屬性信息。

9.根據權利要求6所述的系統，其特征在于，

所述數據探查模塊，用于按照目標探查策略對所述操作結果進行敏感數據的探查，生成探查過程中的探查日志；

所述數據探查模塊，用于根據所述探查日志對所述探查過程進行審計處理，生成探查審計報告數據。

10.根據權利要求6所述的系統，其特征在于，

所述數據探查模塊，用于根據預設的數據庫或數據表與具有訪問權限的客戶端的對應關系，確定所述應用客戶端是否對所述敏感數據所對應的數據庫或數據表具有訪問權限；

所述數據探查模塊，用于若確定所述應用客戶端對所述敏感數據所對應的數據庫或數據表具有訪問權限，則將所述敏感數據進行可視化展現；

所述數據探查模塊，用于若確定所述應用客戶端對所述敏感數據所對應的數據庫或數據表不具有訪問權限，則按照預設脫敏策略對所述操作結果中的敏感數據進行脫敏處理，得到脫敏后的響應數據。