[發明專利]基于分布式并行數據庫的實時數據存儲方法和系統

在審

• 申請號: 201811529596.9
• 申請日: 2018-12-14
• 公開（公告）號: CN109669929A
• 公開（公告）日: 2019-04-23
• 發明（設計）人: 周淳;粟勇
• 申請（專利權）人: 江蘇瑞中數據股份有限公司;南瑞集團有限公司;國家電網有限公司;國網江蘇省電力有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/24;G06F16/27
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于分布式并行數據庫的實時數據存儲方法，系統中包括若干個管理節點、調度節點、數據節點和連接到調度節點上的應用終端與測點，其特征在于：系統中包含由管理節點依據輸入參數確定的分布規則，所述的應用終端向調度節點發出數據寫請求，調度節點收到數據寫請求后根據分布規則和請求中包含的測點信息,將數據發送到相應的數據主節點,數據主節點在存儲過程中將數據轉發給對應的備份節點。

2.根據權利要求1所述的基于分布式并行數據庫的實時數據存儲方法，其特征在于：所述的分布規則包括自定義的HASH函數和分片映射表，分片映射表內包含數據分片號和數據節點ID號，數據分片號由測點名和時間段通過所述HASH函數運算得到，由此將測點的數據分布到具體數據節點上。

3.根據權利要求2所述的基于分布式并行數據庫的實時數據存儲方法，其特征在于所述的HASH函數為：

slice_id＝(w1×[hash_str(point_name)/b1]+w2×[day_time(time)/b2])％Hash_Bucket，

其中，slice_id為數據分片號，hash_str(point_name)為輸入是測點名、輸出是該字符串的hash函數，day_time(time)為輸入是包含有年月日的日期、輸出為整數的量化函數，b1和b2為正整數,用來控制測點或相鄰時間段內的數據分散程度，[]為取整符號,系數w1和w2在0至1之間,且w1+w2＝1,Hash_Bucket為hash桶，％為取模符號。

4.根據權利要求1所述的基于分布式并行數據庫的實時數據存儲方法，其特征在于還包括測點的寫請求方法：調度節點收到測點寫請求后,檢測測點合法性和唯一性,如果檢測通過則存儲測點信息,并向其余所有調度節點同步測點信息,若低于1/2的調度節點同步失敗,管理節點將失敗的調度節點做異常標記,等待后續同步恢復，若超過1/2的調度節點同步失敗,則撤銷已成功調度節點的同步操作,若撤銷失敗,同樣將撤銷失敗調度節點做異常標記,等待后續同步恢復。

5.根據權利要求1所述的基于分布式并行數據庫的實時數據存儲方法，其特征在于還包括數據的讀請求方法：所述的應用終端向調度節點發出數據讀請求，調度節點通過分布規則篩選數據節點,拆分并重新組織多個讀取子請求并分配到多個數據節點,在多個數據節點并行讀取數據,完成后將結果返回調度節點,調度節點待所有已分配的讀取子請求返回結果后做聚集處理.將結果反饋到發出讀請求的應用終端。

6.根據權利要求5所述的基于分布式并行數據庫的實時數據存儲方法，其特征在于：所述的數據讀請求中，調度節點通過判斷數據主節點和備份節點的繁忙程度來選擇讀取節點,每個數據讀請求只可能被發送到一個數據主節點或者備份節點,如果出現讀取異常調度節點則向另一個節點讀取數據。

7.根據權利要求6所述的基于分布式并行數據庫的實時數據存儲方法，其特征在于：所述繁忙程度從數據節點的CPU平均使用率、平均網絡使用率、當前磁盤使用率、當前內存占用率綜合度量。

8.根據權利要求1所述的基于分布式并行數據庫的實時數據存儲方法，其特征在于還包括數據冗余備份的一致性處理方法，包括下列3個子方法：

(1)管理節點的數據一致性處理：采取corosync或zookeeper架構搭建管理節點；

(2)調度節點的數據一致性處理：將調度節點上的數據劃分為區塊，管理節點檢查各調度節點上的區塊和區塊順序是否一致，若不一致則標注異常，并對異常的調度節點進行同步恢復操作；

(3)數據節點的數據一致性處理：管理節點監控數據節點的狀態,調度節點通過管理節點獲取數據節點的狀態,進行數據寫入和讀取,同時實時地將數據節點的異常狀態反饋給管理節點，數據寫入時調度節點將數據直接寫入數據主節點,由主節點將數據向備份節點做自動轉發同步；

上述3個子方法可以單獨執行也可以同時執行。