[發明專利]MPP并行數據庫實例級副本均衡方法

在審

• 申請號: 202210930830.9
• 申請日: 2022-08-04
• 公開（公告）號: CN115309550A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 李曉鵬;賈宗秀;劉堯;張昕堯;蔣旭;趙冬偉;姬濤濤;朱亞楠;吳嵩;周勇亮;劉勇生;桑國彪;樂承予
• 申請（專利權）人: 天津神舟通用數據技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王利文

本發明涉及一種MPP并行數據庫實例級副本均衡方法，其技術特點是：存儲IO的均衡策略為每個WAL日志配置單獨存儲硬盤，為業務數據配置一個共享的大容量存儲硬盤；物理內存的均衡策略采用動態的數據頁面緩沖區分配方式；計算資源的均衡策略采用自適應工作方式；回切原主實例策略包括平滑模式rebalance和速度模式rebalance以滿足不同的場景需求。本發明充分考慮MPP并行數據庫中并行計算、批量裝載數據以及一次寫入多次查詢的特點，分別從存儲IO、物理內存、計算資源和回切原主實例這四個方面進行實例級副本的均衡，最終實現了在不妥協從實例的冗余能力的基礎上最大化主實例的計算服務能力。

技術領域

本發明屬于數據庫技術領域，尤其是一種MPP并行數據庫實例級副本均衡方法。

背景技術

MPP并行數據庫采取無共享(share-nothing)的體系結構，是面向數據倉庫以及商業智能的高性能分布式并行數據庫產品。MPP并行數據庫由一個管理協調節點和多個完全對稱的計算存儲節點構成，通過將復雜查詢拆分到復數個子節點并行執行，可以快速完成數據倉庫或者智能商業的統計分析查詢。

分布式系統的故障率同節點規模成正比。為了提升數據的可靠性和系統的持續可用性，MPP并行數據庫需要提供冗余容錯能力，即副本技術。對副本技術的研究主要有復制方式、分布方式、服務能力幾個方面。具體包括：表級副本和實例級副本、獨立專用服務器和交叉共用服務器、熱備模式和讀寫分離模式。MPP并行數據庫通常采用實例級副本、交叉共用服務器和熱備模式的副本技術。將存儲原始數據的實例稱為主實例，存儲冗余副本的實例稱為從實例，主從實例部署如圖1所示。例如，GreenPlum以及神通MPP并行數據庫5.0都采用了這種副本技術實現方式。

MPP并行數據庫實例級副本的具體工作原理為：首先，按照某種策略將從實例部署到集群內對應主實例之外的服務器，最簡單的策略是順序選擇下一編號的服務器。然后，主實例在完全模式下運行，可以對外提供查詢計算，從實例在恢復模式下運行，接收從主實例傳送來的WAL日志并回放，并不對外提供服務。待主實例故障掉線后，MPP并行數據庫識別并通知從實例由恢復模式轉變為完全模式，并對外提供查詢計算，稱為從實例提升為主實例，同樣，需要的時候也可以將主實例降級為從實例。

MPP并行數據庫通常用于對大數據集合的復雜統計分析查詢，具有周期性批量裝載數據、一次寫入多次查詢的特點。另外，不同于注重高吞吐的事務型數據庫系統，MPP并行數據庫注重對單一任務的并行計算能力，因此，在執行任務時服務器的各類資源，包括處理器、物理內存和存儲IO，往往處于高負載甚至滿載狀態。副本技術可以提升系統的可靠性和可用性，但不可避免會因為占用系統資源而對系統的服務能力產生影響。

另外，主實例故障掉線后從實例提升為主實例繼續提供計算。雖然此時MPP并行數據庫仍可以對外繼續提供服務，但因為缺少了一個節點，導致MPP并行數據庫的整體服務能力下降。假設MPP并行數據庫有N個節點，損失一個節點，最理想情況下整體服務能力將下降1/N。而又因為某一個節點服務器需要承受自身以及新提升主的雙重負載，成為性能瓶頸節點，使得MPP并行數據庫的服務能力最大可下降50％。所以，MPP并行數據庫需要具有回切原主實例的能力，同時盡量減少對應用程序的影響，使系統在修復和服務之間實現均衡。

發明內容

本發明的目的在于克服現有技術的不足，提供一種MPP并行數據庫實例級副本均衡方法，實現了在不妥協從實例的冗余能力的基礎上最大化主實例計算服務能力的功能。

本發明解決現有的技術問題是采取以下技術方案實現的：

一種MPP并行數據庫實例級副本均衡方法，包括存儲IO的均衡策略、物理內存的均衡策略、計算資源的均衡策略和回切原主實例策略；

所述存儲IO的均衡策略：為每個WAL日志配置單獨存儲硬盤，為業務數據配置一個共享的大容量存儲硬盤；

所述物理內存的均衡策略：采用動態的數據頁面緩沖區分配方式；