[發明專利]一種跨機房數據庫的數據一致性校驗方法

有效

• 申請號: 201711039064.2
• 申請日: 2017-10-30
• 公開（公告）號: CN107832383B
• 公開（公告）日: 2019-02-05
• 發明（設計）人: 成兆雨;公福君
• 申請（專利權）人: 焦點科技股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F11/10
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 陳建和

一種跨機房數據庫數據一致性校驗的方法，包括：1：一致性校驗環境的設置，具體為：在各個地域的機房內分別部署主節點數據庫和子節點數據庫，且每個數據庫中設有相同的表結構；2)配置校驗任務信息，校驗任務信息包括校驗執行的頻率、有校驗需求的數據庫表及有校驗需求的表字段；3)按照校驗執行的頻率，每隔固定的時間段，主節點數據庫主動觸發校驗任務；4)各個子節點數據庫接收到校驗任務信息后，提取信息中數據庫、數據表及表字段信息指令；5)主節點數據庫一直保持接收各子節點數據庫發送數據的狀態，一邊接收校驗結果，一邊對校驗結果進行比對，并判斷各個子節點的校驗結果是否一致。

技術領域

本發明屬于多數據庫的聯機數據交互領域，具體涉及一種跨機房數據庫的數據一致性校驗方法。

背景技術

伴隨著B2B電子商務行業的發展，互聯網服務業務越來越多，用戶基數也越來越大，為保障可靠性的需求，網站多會部署在在不同地域的機房中，各機房中部署數據庫系統，并提供完整的網站服務，各機房數據庫之間數據互相復制，保證各機房都有一套完整的數據。然而，多機房最大的挑戰是機房之間因網絡延遲而帶來的數據更新延遲，最終導致各機房數據庫之間的數據不一致。現有主備數據庫校驗一致性技術中都是將在同一時間的主數據庫和備用數據庫進行比對以確定兩個數據庫之間的數據是否已實現同步，然而，因數據同步一般是在主數據庫發生數據更新后，主數據庫再將更新的數據同步到備用數據庫中，這樣就導致數據同步過程中會存在一定的延時，如果以同一時間點兩個數據庫之間的數據進行比對的話，往往會因為時間延遲問題導致本該判定為一致的數據被判為不一致；常用的數據庫一致性技術校驗方法是先對數據庫中的表關鍵字排序，隨后再以相應的算法比較，這類解決方案占用諸如內存、swap空間能大量數據庫資源，在數據量巨大的時候尤為明顯，甚至影響數據庫的性能。

為在不影響數據庫性能的前提下解決數據庫不一致的問題，專利“數據庫一致性校驗方法及系統、定位數據庫差異的方法及系統(申請號：201310704107.X)”做了技術探究，提出一種校驗數據庫不一致性的方法，具體步驟包括：a.按照預定條件將主數據庫與備數據庫中的數據行分組；b.計算主數據庫每一分組及備數據庫每一分組的md5值；c.將所計算的主數據庫的每一分組的md5值與相應的備數據庫分組的md5值比較，如果主數據庫所有分組的md5值與相應的備數據庫分組的md5值一致，則表明主數據庫與備數據庫一致。還提供相應的系統，以及基于該方法的定位數據庫差異的方法及系統。該專利雖然能夠以較小的計算量及網絡數據傳輸量，定位到存在差異的數據，但該專利仍舊還僅停留在主備數據庫一致性校驗的研究上，而且采用分組形式校驗并不適用于大量不一致數據，反而將帶來因不一致數據分散在不同分組而導致需要重復查詢數據的問題，同時該專利也沒有對如何實現跨地域數據庫間的數據自動化定時校驗給予明確的解決方案。

發明內容

為解決現有技術存在的缺陷，本發明目的是，提供一種跨機房數據庫數據一致性校驗的方法，通過在跨地域的數據庫間部署消息系統，并預先配置校驗任務信息，包括校驗頻率、有校驗需要的數據庫表及校驗字段；當校驗啟動后，能按照預先設置的校驗頻率，定時地啟動校驗操作，并在校驗任務過程中持續地收集各個數據庫表內某一具體數據的校驗值，實時反饋校驗結果，不僅保證在跨地域環境中自動化且高效地發現不一致的問題，而且能準確定位到具體的數據，有利于提高數據庫不一致性問題的解決速度。

本發明的技術方案是，一種跨機房數據庫數據一致性校驗的方法，具體步驟包括：步驟1：一致性校驗環境的設置，具體為：在各個地域的機房內分別部署主節點數據庫和子節點數據庫，且每個數據庫中設有相同的表結構；主節點數據庫和子節點數據庫之間構建消息系統，實現跨地域數據庫間以消息傳遞的方式傳輸校驗值；

步驟2：配置校驗任務信息，校驗任務信息包括校驗執行的頻率、有校驗需求的數據庫表及有校驗需求的表字段；