[發明專利]分布式數據庫數據處理方法、裝置、存儲介質及電子裝置

有效

• 申請號: 201711287703.7
• 申請日: 2017-12-07
• 公開（公告）號: CN110019469B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 郭龍波;丁巖;徐宜良;張鵬;盧家順
• 申請（專利權）人: 金篆信科有限責任公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06F9/46
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發明提供了一種分布式數據庫數據處理方法、裝置、存儲介質及電子裝置，該方法包括：數據庫導入導出管理節點在接收到用于導出分布式數據庫中的數據的導出請求后，獲取當前時刻活躍事務列表以及導出表分布信息；數據庫導入導出管理節點根據導出表分布信息通知對應數據庫執行數據導出操作；數據庫導入導出管理節點在確定對應數據庫執行完所述數據導出操作之后，將活躍事務列表發送給對應數據庫的數據庫代理節點；數據庫導入導出管理節點在接收到數據庫代理節點返回的數據一致性反向補償語句之后，將對應數據庫導出的數據導入到預定數據庫中，并指示預定數據庫執行數據一致性反向補償語句。

技術領域

本發明涉及通信領域，具體而言，涉及一種分布式數據庫數據處理方法、裝置、存儲介質及電子裝置。

背景技術

在相關技術中，分布式數據庫數據導出方法主要有兩種，一種是通過單節點數據導出后合并成一份數據，一種是從分布式數據庫代理中將數據選取出來，并重定向輸出到數據文件中，然而在這些機制下分布式數據庫導出存在明顯的缺陷和局限性。

目前分布式數據庫最常用的一種數據導出方案是首先通知數據庫代理將要進行數據導出工作，請求數據庫代理不接收新的事務且等待當前活躍事務完成后，返回分布式數據庫線上禁用成功后，開始向各數據庫節點發起數據導出任務，任務開始執行即導出語句獲得一致性快照后，數據庫代理解禁并開始處理新事務。

由于分布式數據庫涉及大量數據庫實例，各數據庫實例獨自保證數據事務ACID特性(為Atomic原子性，Consistency一致性，Isolation隔離性，Durability持久性的全稱)，但分布式數據庫也要面臨不同于單機的數據導出問題----分布式事務數據一致性。所謂分布式事務數據一致性是指，處于分布式數據庫代理發出的分布式事務，要么全部執行并提交成功，要么全部不執行(即處于執行之前狀態)。以銀行轉賬為例，假設A用戶相關數據存在數據庫節點G1，B用戶相關數據存在G2節點中，現需要從A賬戶轉出100元到B用戶，所謂分布式事務一致性是指，G1節點A用戶賬戶扣除和G2節點B用戶賬戶轉入需邏輯綁定為一次操作，只能處于執行成功或者未執行狀態。

分布式數據導出關鍵的一個難題是如何保證各數據庫節點數據一致性；在分布式數據庫運行過程中，存在分布式事務分發到各節點語句數不同，同時存在不同節點執行語句速度不一致問題，會存在分布式事務在各數據庫節點狀態不同(已提交和未提交)，此時若進行數據導出，就會存在數據不一致問題；而線下數據導出方案，由于必須禁止數據庫代理對外提供服務，人為使各數據庫節點處于數據一致性狀態的方法，不是業界的主流方式，且對在線業務影響較大。采用相關技術中的分布式數據導出有著明顯的局限性，整個數據導出過程過長，數據庫代理邏輯處理過于復雜，異常流程過多，不利于分布式數據庫運維；不支持存在長事務場景，若存在長事務將會對現場業務存在較大的影響，其可使用性接近于線下數據導出；通過從單節點數據庫執行選擇命令，將結果集返回到數據庫代理，數據庫代理將數據寫入到文件中，此方案會大量占用數據庫代理和數據庫之間的網絡I/O并占用數據庫代理系統資源，進而嚴重影響分布式數據庫性能。

針對相關技術中存在的在進行分布式數據庫數據導出時，各數據庫中數據不一致的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種分布式數據庫數據處理方法、裝置、存儲介質及電子裝置，以至少解決相關技術中存在的在進行分布式數據庫數據導出時，各數據庫中數據不一致的問題。