[發明專利]大數據平臺數據修改系統及修改、響應、緩存、校驗方法

有效

• 申請號: 202110497681.7
• 申請日: 2021-05-08
• 公開（公告）號: CN113094754B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 舒海;楊文逸;羅小東;白慧靜;陳靜
• 申請（專利權）人: 重慶銀行股份有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F21/64;G06F16/172;G06F16/182
• 代理公司: 重慶樂泰知識產權代理事務所(普通合伙) 50221
• 代理人: 崔雷

1.一種大數據平臺數據修改系統，用于Hadoop大數據平臺的hive數據倉庫的數據修改，其特征在于，包括控制中心、大數據權限控制組件、大數據分布式文件系統、以及多個用于修改分布式文件系統的共享數據表的賬號，所述分布式文件系統對應有多個物理節點，每一賬號對應有至少一個控制端，所述控制端位于物理節點上；

所述控制中心用于：

實時從大數據權限控制組件中同步各賬號對各共享數據表的操作權限；

響應賬號的修改請求；當賬號發起對共享數據表的修改請求時，將該賬號作為此次修改的發起端，將其他共享了該共享數據表的賬號作為此次修改的共享端；

生成一次性票據令牌轉發給各共享端，以及回收一次性票據令牌；所述一次性票據令牌用于在控制中心、分布式文件系統、發起端、以及各共享端之間標識和互信本次修改的請求會話；

在發起端、共享端和分布式文件系統之間傳遞信息，向發起端、共享端和分布式文件系統下發執行命令，以及接收發起端、共享端和分布式文件系統反饋的信息；

所述大數據權限控制組件用于管理各賬號對數據表的操作權限；

所述大數據分布式文件系統用于將多個物理節點組成一個文件系統網絡，通過網絡進行物理節點間的通信和數據傳輸；所述大數據分布式文件系統還用于在修改Hadoop大數據平臺的hive數據倉庫的數據過程中對數據進行緩存，所述緩存方法包括：

在大數據分布式文件系統設置有獨立路徑的緩存區；

將請求修改的共享數據表復制一份副本數據存放于緩存區的獨立路徑中；

提供發起端對緩存區中數據副本的修改，以及在修改后提供給各共享端校驗修改信息；

在控制中心下發覆蓋寫入新數據的指令時，緩存區首先將被修改的副本數據的路徑加鎖拒絕應用訪問，待原共享數據表路徑下的數據文件刪除后，再將緩存區中已經修改并校驗有效的副本數據移動到原共享數據表的數據路徑中，最后解除鎖，允許應用訪問；

在控制中心下發回退數據的指令時，緩存區將被修改過的副本數據刪除，并重新從分布式文件系統上原共享數據表的路徑下復制一份數據放入緩存區的路徑中；

所述賬號的控制端用于存儲共享數據表的區塊鏈，以及響應控制中心下發的命令；當作為發起端時，用于：

向控制中心發起修改請求；

接受控制中心返回的本次請求的應答信息；

向大數據文件系統上發起修改數據文件的操作請求；

修改數據過程中，將本次修改信息寫入區塊，并串聯上次的區塊鏈形成新的區塊鏈；

修改數據過程中，向共享賬號廣播校驗區塊鏈的請求；

接受控制中心反饋的修改校驗結果，如果成功即歸檔并更新區塊鏈，失敗則丟棄本次區塊，將區塊鏈回退到上次的狀態；

作為共享端時，用于：

接受控制中心轉發的賬號的修改請求；

檢查確認其服務狀態是否正常，并向控制中心反饋是否同意本次修改請求；

接受修改發起賬號發起的校驗區塊鏈信息的請求，并校驗修改賬號廣播的區塊鏈中本次區塊信息是否和修改數據內容一致，并反饋校驗結果給控制中心。

2.一種大數據平臺數據修改的修改方法，用于發起對Hadoop大數據平臺的hive數據倉庫的數據的修改，其特征在于，采用如權利要求1所述的大數據平臺數據修改系統，所述修改方法包括：

通過區塊鏈記錄共享數據表的修改信息；

向控制中心發出對一共享數據表的修改請求；

接收來自于控制中心的控制指令；

當控制指令為允許修改的指令時，對該共享數據表的數據進行修改操作，并將本次修改的操作信息寫入一個新的區塊，把新的區塊連接在發起端對應的區塊鏈的末端，生成一個新的區塊鏈，并將新生成的區塊鏈廣播出去，以便于對修改進行校驗；

當控制指令為修改完成的指令時，使分布式文件系統對修改的內容進行更新；

當控制指令為回退操作的指令時，將共享數據表的數據還原到修改前的狀態，并丟棄本次區塊，將區塊鏈回退到修改前的狀態。