[發明專利]MPP并行數據庫實例級副本均衡方法

在審

• 申請號: 202210930830.9
• 申請日: 2022-08-04
• 公開（公告）號: CN115309550A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 李曉鵬;賈宗秀;劉堯;張昕堯;蔣旭;趙冬偉;姬濤濤;朱亞楠;吳嵩;周勇亮;劉勇生;桑國彪;樂承予
• 申請（專利權）人: 天津神舟通用數據技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王利文

1.一種MPP并行數據庫實例級副本均衡方法，其特征在于：包括存儲IO的均衡策略、物理內存的均衡策略、計算資源的均衡策略和回切原主實例策略；

所述存儲IO的均衡策略：為每個WAL日志配置單獨存儲硬盤，為業務數據配置一個共享的大容量存儲硬盤；

所述物理內存的均衡策略：采用動態的數據頁面緩沖區分配方式；

所述計算資源的均衡策略：采用自適應工作方式，將從實例增加日志回放線程池、協調管理器以及一個RTO閾值，從實例在初始階段只啟動一個日志回放線程，協調管理器負責實時計算WAL日志回放進展，如果回放進展超過了設定的RTO閾值，將喚醒更多的線程并行回放，直至全部回放完成，再釋放并保留一個回放線程繼續工作；

所述回切原主實例策略：包括平滑模式rebalance和速度模式rebalance以滿足不同的場景需求。

2.根據權利要求1所述的MPP并行數據庫實例級副本均衡方法，其特征在于：所述WAL日志配置的單獨存儲硬盤為SAS硬盤組成的RAID1，所示業務數據配置的大容量存儲硬盤采用多塊大容量的SATA硬盤組成的RAID5。

3.根據權利要求1所述的MPP并行數據庫實例級副本均衡方法，其特征在于：所述動態的數據頁面緩沖區分配方式為：為數據頁面緩沖區設置兩個容量值：初始容量、正常容量，為存放頁面的緩沖塊設置兩個緩沖塊，當數據庫實例從實例啟動時，按照初始容量創建哈希映射數組和第一緩沖塊，此時的緩沖區大小為初始容量，當從實例被提升為主實例時增大哈希映射數組并創建第二緩沖塊，緩沖區增大到正常容量，當主實例降級為從實例時縮減哈希映射數組并刪除第二緩沖塊。

4.根據權利要求3所述的MPP并行數據庫實例級副本均衡方法，其特征在于：所述初始容量和正常容量的比例為1:4。

5.根據權利要求3所述的MPP并行數據庫實例級副本均衡方法，其特征在于：所述從實例提升為主實例的具體實現方法為：

⑴增大哈希映射數組；

⑵計算正常容量和初始容量差值，申請第二緩沖塊并與第一緩沖塊構成緩沖塊組；

⑶依照動態哈希算法，將部分頁面由第一緩沖塊遷移至第二緩沖塊；

⑷頁面訪問自動定位到新的存放位置。

6.根據權利要求3所述的MPP并行數據庫實例級副本均衡方法，其特征在于：所述主實例降級為從實例的具體實現方法為：

⑴依照動態哈希算法，將第二緩沖塊中數據頁面遷移至第一緩沖塊；

⑵如果第一緩沖塊中已經沒有空閑空間，將剩余數據頁面回刷至數據文件；

⑶縮減哈希映射數組；

⑷釋放第二緩沖塊的內存空間；

⑸頁面訪問自動定位到新的存放位置。

7.根據權利要求1所述的MPP并行數據庫實例級副本均衡方法，其特征在于：所述計算資源的均衡策略中，協調管理器還根據修改RTO閾值的指令要求，設置并行回放的線程數量，當修改RTO閾值為0時，將立即觸發從實例并行回放，所述從實例并行回放的具體實現方法為：

⑴接收線程將接收到的WAL日志回刷至日志文件；

⑵接收線程通知協調管理器日志回刷進度；

⑶回放線程順序讀取WAL日志進行回放；

⑷回放線程通知協調管理器日志回放進度；

⑸協調管理器檢查發現回刷進度和回放進度偏差超過了RTO閾值，啟動更多的線程并行回放；

⑹協調管理器檢查發現已全部回放完成，釋放并保留一個回放線程繼續工作。

8.根據權利要求1所述的MPP并行數據庫實例級副本均衡方法，其特征在于：所述平滑模式rebalance的具體實現方法為：

⑴注冊rebalance事件，并啟動后臺任務；

⑵主實例對外繼續提供完整的服務；

⑶后臺任務監聽從實例的回放進度，直至完成；

⑷后臺任務觸發rebalance，轉換主從角色，主實例降級為從實例，從實例提升為主實例；

⑸新的主實例開始對外提供查詢計算。

9.根據權利要求1所述的MPP并行數據庫實例級副本均衡方法，其特征在于：所述速度模式rebalance的具體實現方法為：

⑴執行rebalance語句，等待結束；

⑵限制MPP并行數據庫對外提供更新、刪除等修改服務；

⑶通知從實例啟動多個線程并行回放；

⑷待回放完成，轉換主從角色，主實例降級為從實例，從實例提升為主實例；

⑸rebalance語句執行結束，新的主實例開始對外提供查詢計算。