[發明專利]大數據平臺數據修改系統及修改、響應、緩存、校驗方法

有效

• 申請號: 202110497681.7
• 申請日: 2021-05-08
• 公開（公告）號: CN113094754B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 舒海;楊文逸;羅小東;白慧靜;陳靜
• 申請（專利權）人: 重慶銀行股份有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F21/64;G06F16/172;G06F16/182
• 代理公司: 重慶樂泰知識產權代理事務所(普通合伙) 50221
• 代理人: 崔雷

本發明公開了一種大數據平臺數據修改系統，包括控制中心、大數據權限控制組件、大數據分布式文件系統、以及多個賬號，所述分布式文件系統對應有多個物理節點，每一賬號對應有至少一個控制端，所述控制端位于物理節點上，所述賬號的控制端用于存儲共享數據表的區塊鏈，所述區塊鏈用于存儲共享數據表的操作信息；所述大數據分布式文件系統還對應有緩存區。本發明中，通過區塊鏈來記錄數據的修改信息，對數據的每一次修改都會由各共享端分別進行校驗，只有在每一共享端都校驗通過才會完成修改，從而保證發起端記載的操作內容與修改后的實際操作結果相符，避免賬號繞過hive對數據進行篡改，確保修改記錄的真實性，以便于審計。

技術領域

本發明涉及大數據平臺技術領域，特別涉及一種大數據平臺數據修改系統及修改、響應、緩存、校驗方法。

背景技術

Hadoop平臺是適合于大數據的分布式存儲和處理平臺，Hive是基于Hadoop的數據倉庫工具，可對存儲在HDFS上的文件中的數據集進行數據整理、特殊查詢和分析處理。在大數據Hadoop平臺hive數據倉庫中，某些數據可被多個賬號修改，這些賬號可以是共同發布數據的賬號、也可能是權限更大的上級賬號、管理員賬號等，這些賬號可以通過操作hive表對應的分布式文件系統hdfs上的數據文件而不通過hive組件達到修改數據的目的，而大數據平臺并不能提供足夠的數據證明數據修改是來源于哪個賬號的某個操作，造成無法審核操作的合法性和追溯數據修改來源賬號。主要原因如下：

1)Hive數據倉庫下文件的屬主賬號和角色信息缺失：在大數據平臺多賬號管理體系下sentry等權限組件幾乎是必須使用的。但啟用sentry等權限管理組件后，以任何方式向hive數據倉庫路徑(/user/hive/warehouse/)寫入數據，分布式文件系統hdfs層面顯示屬主均為hive，而不會顯示出發起寫入操作的賬號和角色，無法定位操作來源于哪個賬號和角色。

2)hdfs記錄的審計日志只提供操作的時間記錄、來源、操作對象，缺乏操作結果和操作影響的數據范圍，無法用于追溯到具體數據的提供者；hive記錄的審計日志僅包含了通過hive提交的SQL語句，但賬號如果繞過hive直接操作hdfs文件修改數據，hive不會產生審計記錄，造成審計操作合規性和數據來源追溯困難。

對于大數據平臺hive數據倉庫的數據修改審計，目前采用的技術方案主要有以下三種：

1)在數據的固定位置提供簽名記錄數據提供者信息方案。比如在hive的共享數據表中增加一個簽名字段，記錄數據提供者的信息和提供時間，審計和溯源時只需要查看這個字段的內容即可找到對應的數據提供者，但該方案因記錄的數據位置固定、記錄結構簡單，容易被其他有數據修改權限的賬號篡改和偽造，甚至被數據提供者寫入不實的簽名。

2)在數據的隱藏位置提供加密的簽名信息。采用在數據內隱藏的位置加入數字、圖片等加密信息串的方式，但該方案可被其他有權限修改數據的賬號將整個數據文件的內容全部覆蓋和重寫，從而導致簽名失效，無法證明數據來源。

3)采用全量數據計算哈希值生成區塊鏈來標識數據的唯一性。通過將修改后的數據內容兩兩計算哈希值得生成merkletree，使得數據產生唯一的哈希值，然后將哈希值寫入區塊，每次修改的區塊信息依次串聯形成區塊鏈，用于追溯每次修改的內容。但這種方法需要對全部數據計算哈希值，需要較大的計算開銷，只適用于小數據量修改的記錄和溯源，對于一次任務處理數據量很大的大數據平臺，生成區塊的耗時很長，效率較低。

發明內容

本發明要解決的技術問題是提供了一種能夠防止篡改數據，從而保證數據修改記錄的真實性的大數據修改的方法及裝置。

本發明的技術方案如下：