[發明專利]一種分布式數據庫系統元數據的處理方法及系統

在審

• 申請號: 202110108114.8
• 申請日: 2021-01-27
• 公開（公告）號: CN112799835A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 榮天楊;王瀚墨;周恒
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/27;H04L29/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫晶偉

本發明公開一種分布式數據庫系統元數據的處理方法及系統，涉及分布式數據庫系統技術領域；數據節點與中心節點建立grpc連接，數據節點發送請求到中心節點，如果是讀請求，將一次性使用的元數據直接從中心節點獲取；如果是定期需要的元數據，向中心節點發送定期推送請求，如果是影響數據庫業務執行效率的元數據，向中心節點發送變更推送請求，通過中心節點接收數據節點的相應請求：判斷請求的元數據類型，如果是讀請求，直接返回請求的元數據；如果是定期推送請求或者變更推送請求，先將請求按元數據進行歸并，再返回請求的元數據；如果是寫請求，將請求同步到整個中心節點集群，再更新元數據，根據元數據對應的請求，將元數據推送到數據節點。

技術領域

本發明公開一種方法及系統，涉及分布式數據庫系統技術領域，具體地說是一種分布式數據庫系統元數據的處理方法及系統。

背景技術

隨著信息技術的發展，在集中式數據庫的基礎上出現了分布式數據庫，一個分布式數據庫在邏輯上是統一的整體，在物理上則是分別存儲在不同的物理節點上，是計算機技術和網絡技術結合的產物，擁有高可用，易擴展，體系結構靈活的優勢，缺點主要是節點之間的網絡數據通信使系統開銷大。而元數據是指關于數據的組織及其關系的信息，簡言之，元數據就是關于數據的數據。在分布式數據庫系統中元數據包括：集群配置信息、數據存儲位置、表信息、節點存活狀態、節點信息、存儲信息、緩存等。其中數據存儲位置等重要的元數據用于數據庫分布式執行計劃，需要第一時間同步到所有節點，保證數據庫業務的執行速度。

在現有的有中心節點的分布式系統中，元數據的變化由中心節點集群負責。當中心節點中的元數據發生變化后，數據節點都需要從中心節點拉取最新的元數據，導致數據節點大量訪問中心節點，給中心節點造成的壓力隨之增大，影響數據庫業務執行效率，嚴重時引發雪崩現象，導致中心節點丟失數據節點心跳活性檢測信息，而被認為數據節點宕機，進而更改元數據，再次引發雪崩現象。從而限制了數據庫集群規模上限。

除此之外，通過累積一段時間元數據再一起執行的方法雖然降低了中心節點壓力，適用于普通分布式系統，但是無法保證重要元數據的同步速度。在分布式數據庫系統中，如果元數據變更后同步不及時，執行計劃選擇錯誤的節點執行操作，容易導致數據庫業務執行失敗，或者獲取到過時的信息，導致不斷進行重試，影響數據庫業務的執行速度。

發明內容

本發明針對現有技術的問題，提供一種分布式數據庫系統元數據的處理方法及系統，克服上述問題或者至少在特定的范圍之內解決上述問題的元數據處理方法，在中心節點服務器性能不變的情況下，提高分布式數據庫集群規模上限。

本發明提出的具體方案是：

一種分布式數據庫系統元數據的處理方法，數據節點與中心節點建立雙向grpc連接，

數據節點發送相應請求到中心節點并判斷自身需要的元數據類型：如果是讀請求，將一次性使用的元數據直接從中心節點獲取；如果是定期需要的元數據，向中心節點發送定期推送請求，如果是影響數據庫業務執行效率的元數據，向中心節點發送變更推送請求，

通過中心節點接收數據節點的相應請求：判斷請求的元數據類型，如果是讀請求，直接返回請求的元數據；如果是定期推送請求或者變更推送請求，先將請求按元數據進行歸并，再返回請求的元數據；

如果是寫請求，將請求同步到整個中心節點集群，再更新元數據，根據元數據對應的請求，將元數據推送到相應的數據節點。

進一步，所述的一種分布式數據庫系統元數據的處理方法中通過中心節點定期獲取需要定期推送請求，獲取元數據推送到相應的數據節點。

進一步，所述的一種分布式數據庫系統元數據的處理方法中通過中心節點集群中主中心節點將寫請求的操作寫入日志并同步日志到整個中心節點集群。

進一步，所述的一種分布式數據庫系統元數據的處理方法中中心節點集群中各中心節點通過選舉機制選舉主中心節點。