[發明專利]一種分布式實時內存數據庫的分片信息存儲方法

有效

• 申請號: 201710858824.6
• 申請日: 2017-09-21
• 公開（公告）號: CN107609143B
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 吳慶曦;郭建成;靳晶;魏娜;陳俊安;彭暉;陳鵬;吳海偉;余璟;徐春雷;楊明
• 申請（專利權）人: 國電南瑞科技股份有限公司;國電南瑞南京控制系統有限公司;國家電網公司;國網江蘇省電力公司;國網浙江省電力公司;南京南瑞集團公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22;G06F3/06;G06Q50/06
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林;俞翠華

本發明公開了一種分布式實時內存數據庫的分片信息存儲方法，包括(1)獲取不同應用的實時數據，形成實時數據庫；(2)使用長整型的數據作為實時數據庫中實時數據表的關鍵字，所述關鍵字可拆分為表標識和記錄序號；所述實時數據表中的每條記錄都有對應于其所屬應用的應用號；(3)對實時數據表中不同應用的實時數據進行獨立分片后存儲到對應的存儲文件中，并為每條記錄生成一個所屬分片的分片序號；(4)根據關鍵字和應用號生成存儲文件號和內部偏移，并使用分片信息索引記錄關鍵字與所屬分片序號的映射關系。本發明實現了分布式實時數據可以進行多應用獨立分片，分片信息獨立存儲和獨立檢索；且實時數據分片信息能夠以常數級別性能進行檢索。

技術領域

本發明屬于電力系統自動化電網模型管理技術領域，具體涉及一種分布式實時內存數據庫的分片信息存儲方法。

背景技術

隨著電網運行方式日趨復雜，電網的調度運行管理面臨新的挑戰，對作為電網安全穩定運行基礎的電網模型和參數提出了更高的要求。單一節點和集中存儲的實時數據庫已經無法應對日益增長的實時數據規模，需要對實時數據進行分片分區管理，同時為了保障數據方向性能，需要高效記錄數據的數據和所屬分片的映射關系，即分區信息。

發明內容

針對上述問題，本發明提出一種分布式實時內存數據庫的分片信息存儲方法，實現了分布式實時數據可以進行多應用獨立分片，分片信息獨立存儲和獨立檢索；且實時數據分片信息能夠以常數級別(O(1))性能進行檢索。

實現上述技術目的，達到上述技術效果，本發明通過以下技術方案實現：

一種分布式實時內存數據庫的分片信息存儲方法，包括以下步驟：

(1)獲取不同應用的實時數據，形成實時數據庫；

(2)使用長整型的數據作為實時數據庫中實時數據表的關鍵字，所述關鍵字可拆分為表標識和記錄序號；所述實時數據表中的每條記錄都有對應于其所屬應用的應用號；

(3)對實時數據表中不同應用的實時數據進行獨立分片后存儲到對應的存儲文件中，并為每條記錄生成一個所屬分片的分片序號；

(4)根據關鍵字和應用號生成存儲文件號和內部偏移，并使用分片信息索引記錄關鍵字與所屬分片序號的映射關系。

進一步地，所述關鍵字中使用2個字節的數據記錄該關鍵字對應數據所在表的表標識，使用4個字節數據記錄該關鍵字對應的記錄序號。

進一步地，所述步驟(4)中的根據應用號、關鍵字計算分片信息的存儲位置，具體為：

將關鍵字中的記錄序號拆分為高2字節和低2字節，所述高2字節與關鍵字中的表標識、對應的應用號合并成為存儲文件號；所述低2字節作為存儲文件內的偏移，用于實現將記錄對應的分片序號存儲在關鍵字對應存儲文件的對應偏移位置。

進一步地，所述應用號通過2字節進行編碼。

進一步地，所述實時數據庫中同一張數據表可屬于不同應用，并獨立管理。

進一步地，各存儲文件的大小均相同，為塊文件。

本發明的有益效果：

(1)本發明中分布式實時數據可以進行多應用獨立分片，分片信息獨立存儲和獨立檢索；且實時數據分片信息能夠以常數級別性能進行檢索。

(2)本發明的多應用實時數據庫數據同步方式是結合工作在應用層的自主開發的實時庫上實現，不依賴于具體的操作系統，適用于各種操作系統。