[發明專利]大表流式并行高速數據比對方法

有效

• 申請號: 201710819917.8
• 申請日: 2017-09-12
• 公開（公告）號: CN107679104B
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 聞建霞;柳遵梁;姚遠;陳慧慧;陳建培;呂海波
• 申請（專利權）人: 杭州美創科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/2453;G06F16/22
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 尉偉敏;閻忠華

本發明公開了一種大表流式并行高速數據比對方法，包括如下步驟：(1?1)比對應用程序通過數據庫鏈接配置待比對的主數據庫表信息和備數據庫表的信息，如果主數據庫表信息和備數據庫表信息結構不一致，返回無法比對；(1?2)比較主數據庫表信息和備數據庫表的索引字段，獲取最小值min和最大值max，用于比對開始與結束標記；并設置并行比對通道數N，N動態生成，用于并行處理；(1?3)將主備數據庫表的記錄按索引字段遞增排序，并將排序結果按并行比對通道數N進行分塊，且各個通道分別流式讀取數據，存于緩存中；(1?4)在各個通道中并行處理數據比對，記錄比對結果。本發明具有提高了數據比對速度的特點。

技術領域

本發明涉及數據庫技術領域，尤其是涉及一種能夠充分利用硬件資源進行數據比對，提高了數據比對速度的大表流式并行高速數據比對方法。

背景技術

現有技術中的數據庫表比對方案主要有：

將主備數據庫表數據導成表格文件，再運用比較工具進行比對，該方法簡單明了，但是對于海量數據無法進行比對。

利用算法技術進行比對，將主備端數據導入內存，并采用各種查找算法進行比對；該方法的優點是比對速度快，缺點是依賴于算法，并沒有利用現有軟硬件資源，實用性不強。

將主備端數據導入到第三方數據庫，執行SQL腳本，然后對執行結果進行差異分析。該方法采用邏輯運算，程序簡單，缺點是實時性差，操作復雜，并依賴于第三方數據庫，價格昂貴。

基于多表的數據庫并行比對；這種并行方式不能對單張大表提供性能優化支持。

發明內容

本發明的發明目的是為了克服現有技術中的數據庫表比對方法實用性不強，實時性差，操作復雜，價格昂貴的不足，提供了一種能夠充分利用硬件資源進行數據比對，提高了數據比對速度的大表流式并行高速數據比對方法。

為了實現上述目的，本發明采用以下技術方案：

一種大表流式并行高速數據比對方法，包括如下步驟：

(1-1)比對應用程序通過數據庫鏈接配置待比對的主數據庫表信息和備數據庫表的信息，如果主數據庫表信息和備數據庫表信息結構不一致，返回無法比對；

(1-2)比較主數據庫表信息和備數據庫表的索引字段，獲取最小值min和最大值max，用于比對開始與結束標記；并設置并行比對通道數N，N動態生成，用于并行處理；

(1-3)將主備數據庫表的記錄按索引字段遞增排序，并將排序結果按并行比對通道數N進行分塊，且各個通道分別流式讀取數據，存于緩存中；

(1-4)在各個通道中并行處理數據比對，記錄比對結果。

本發明克服現有數據比對方法的實用性不強，實時性差，操作復雜，價格昂貴，操作復雜的不足，能夠在充分利用硬件資源進行數據比對的同時提高數據比對速度，實用性強，實時性好，操作簡單，價格便宜，操作簡單。

作為優選，所述主數據庫表信息和備數據庫表的信息均包括參與比對的主備數據庫對應的表名稱，字段名稱及對應字段類型。

作為優選，并行比對通道數N根據實際數據比對的速度動態確定，取每秒比對表記錄行數最多時的比對通道個數。

作為優選，1≤N≤5。

作為優選，并行處理將比對數據分多個通道同時比較，每個通道是獨立的個體，平行獨立線程運行，各個通道之間通過緩存進行聯系；在并行處理過程中，當一個通道或多個通道已經比對完成，將其它未完成比對的通道數據塊拆分給多個通道，保持同時比對的通道數為N，緩解通道壓力，保證比對速度。