[發明專利]基于分布式并行數據庫的實時數據存儲方法和系統

在審

• 申請號: 201811529596.9
• 申請日: 2018-12-14
• 公開（公告）號: CN109669929A
• 公開（公告）日: 2019-04-23
• 發明（設計）人: 周淳;粟勇
• 申請（專利權）人: 江蘇瑞中數據股份有限公司;南瑞集團有限公司;國家電網有限公司;國網江蘇省電力有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/24;G06F16/27
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于分布式并行數據庫的實時數據存儲方法和系統，方法包括了終端數據的寫入和查詢方法、測點數據寫入、數據冗余備份的一致性處理方法和數據異常處理方法，系統包括了若干個相互之間建立數據連接的管理節點、調度節點、數據節點和連接到調度節點上的應用終端和測點。本發明針對工業實時數據處理，將分布式數據系統和實時數據系統結合起來，既提高了的數據容量和處理能力，又有效提升了分布式架構下并行處理效率，達到了工業數據的實時性處理要求，還解決系統數據一致性、數據冗余備份、數據出錯后快速恢復的能力，提高了數據的可靠性和系統的穩定性，可以較好地應用于大規模數據的實時處理中去。

技術領域

本發明涉及一種實時數據存儲方法和系統，特別是涉及一種基于分布式并行數據庫的實時數據存儲方法和系統。

背景技術

隨著網絡技術迅速發展，各種應用于工業的實時數據系統(例如電廠實時監控系統、節能環保系統、煤炭石化等流程生產企業的自動化、信息化系統)產生的數據量呈指數級增長,現有的單機數據庫無論從容量還是從處理能力來講已不能完全適應當前需求。另外，這種應用于工業的實時數據系統除了要求數據容量大之外，還對系統的實時性和穩定性要求很高。目前業界用做實時數據存取的數據庫基本仍使用單核心集中部署,這種系統存在著數據存儲容量不大、處理能力不強的缺點，目前的分布式數據庫系統又存在著實時性不好的缺點，難以應用到對實時性要求高的工業數據系統中去，如何設計一個既滿足事務應用處理時效性又滿足事務吞吐率的需求的分布式并行實時數據庫是一個難點。

發明內容

發明目的：本發明要解決的技術問題是提供一種基于分布式并行數據庫的實時數據存儲方法和系統，針對工業實時海量數據的特性,既解決了傳統單核心數據庫容量有限、處理能力弱的問題，又解決了現有分布式數據庫系統實時性不強的問題，滿足了工業實時海量數據處理中數據量大和實時性高的要求。

技術方案：

本發明提供一種基于分布式并行數據庫的實時數據存儲方法，系統中包括若干個管理節點、調度節點、數據節點和連接到調度節點上的應用終端與測點，系統中包含由管理節點依據輸入參數確定的分布規則，所述的應用終端向調度節點發出數據寫請求，調度節點收到數據寫請求后根據分布規則和請求中包含的測點信息,將數據發送到相應的數據主節點,數據主節點在存儲過程中將數據轉發給對應的備份節點。

進一步的，所述的分布規則包括自定義的HASH函數和分片映射表，分片映射表內包含數據分片號和數據節點ID號，數據分片號由測點名和時間段通過所述HASH函數運算得到，由此將測點的數據分布到具體數據節點上。

進一步的，所述的HASH函數為：

slice_id＝(w1×[hash_str(point_name)/b1]+w2×[day_time(time)/b2])％Hash_Bucket，

其中，slice_id為數據分片號，hash_str(point_name)為輸入是測點名、輸出是該字符串的hash函數，day_time(time)為輸入是包含有年月日的日期、輸出為整數的量化函數，b1和b2為正整數,用來控制測點或相鄰時間段內的數據分散程度，[]為取整符號,系數w1和w2在0至1之間,且w1+w2＝1,Hash_Bucket為hash桶，％為取模符號。

進一步的，還包括測點的寫請求方法：調度節點收到測點寫請求后,檢測測點合法性和唯一性,如果檢測通過則存儲測點信息,并向其余所有調度節點同步測點信息,若低于1/2的調度節點同步失敗,管理節點將失敗的調度節點做異常標記,等待后續同步恢復，若超過1/2的調度節點同步失敗,則撤銷已成功調度節點的同步操作,若撤銷失敗,同樣將撤銷失敗調度節點做異常標記,等待后續同步恢復。