[發明專利]一種基于Redis的采集檔案管理方法及系統

在審

• 申請號: 202010973929.8
• 申請日: 2020-09-16
• 公開（公告）號: CN112364105A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 宋強
• 申請（專利權）人: 貴州電網有限責任公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/27;G06F16/25;G06F16/2455
• 代理公司: 成都玖和知識產權代理事務所(普通合伙) 51238
• 代理人: 胡琳梅

1.一種基于Redis的采集檔案管理方法，其特征在于：通過在采集系統中增加分布式緩存服務器，進行采集檔案數據緩存；

其中，所述分布式緩存服務器基于Redis管理，負責執行采集檔案數據同步寫入、分塊存儲和并行讀取功能。

2.根據權利要求1所述的一種基于Redis的采集檔案管理方法，其特征在于：所述采集檔案數據同步寫入為從關系型數據庫中抽取采集檔案數據加載到Redis中，抽取加載方式包括全量定時和增量觸發兩種方式；

其中，所述全量定時抽取加載方式為：根據系統事先設置的定時任務，系統定時啟動該任務，抽取關系型數據庫中所有采集檔案數據加載到Redis中，全量替換Redis中原有全部采集檔案數據。

其中，所述增量觸發抽取加載方式為：系統根據采集檔案數據變更情況自動觸發，抽取關系型數據庫中變更采集檔案數據加載到Redis中，更新Redis中原有采集檔案數據。

3.根據權利要求1所述的一種基于Redis的采集檔案管理方法，其特征在于：所述采集檔案數據分塊存儲為按采集檔案數據類型在Redis中劃分出不同的數據緩存塊分別存儲不同類型的采集檔案數據；

其中，所述采集檔案數據緩存塊包括終端檔案緩存塊、測量點檔案緩存塊、規約數據項參數緩存塊、任務模板緩存塊、任務參數緩存塊。

4.根據權利要求1所述的一種基于Redis的采集檔案管理方法，其特征在于：所述分布式緩存服務器基于Redis管理包括存儲容量估算和節點方案設計；

其中，所述存儲容量估算為：根據當前關系型數據庫中采集檔案數據量及未來五年增長率進行估算，并考慮服務器自身運行所需占用內存資源和業務應用所需占用內存資源的比例，綜合計算出所需內存容量；

其中，所述節點方案設計為：根據存儲容量估算結果，設計Redis服務器數量和內存容量，綜合考慮主從數據冗余備份、數據存取性能、故障自動發現與節點自動切換的情況，按3臺服務器組成1個主從復制集進行連接。

5.根據權利要求4所述的一種基于Redis的采集檔案管理方法，其特征在于：所述的主從復制集包括1個Master節點和2個Slave節點、3個Sentinel節點；

其中，所述Master節點提供采集檔案數據寫入和緩存服務；

其中，所述Slave節點提供采集檔案數據緩存和讀取服務；

其中，Sentinel節點提供故障自動發現與節點自動切換服務。

6.根據權利要求1所述的一種基于Redis的采集檔案管理方法，其特征在于：所述采集檔案數據并行讀取為：系統可根據所需讀取采集檔案數據類型，在Redis中找到對應緩存塊進行讀取，還可對同一類型采集檔案數據進行細分，分別進入不同Slave節點中找到對應數據進行讀取。

7.一種基于Redis的采集檔案管理系統，其特征在于：所述系統包括分布式緩存服務器，該分布式緩存服務器加載到采集系統中，進行采集檔案數據緩存；所述分布式緩存服務器基于Redis管理，負責執行采集檔案數據同步寫入、分塊存儲和并行讀取功能。

8.如權利要求7所述的一種基于Redis的采集檔案管理系統，其特征在于：采集檔案數據同步寫入是從關系型數據庫中抽取采集檔案數據加載到Redis中，抽取加載方式包括全量定時和增量觸發兩種方式。

9.如權利要求7所述的一種基于Redis的采集檔案管理系統，其特征在于：所述采集檔案數據分塊存儲為按采集檔案數據類型在Redis中劃分出不同的數據緩存塊分別存儲不同類型的采集檔案數據；

其中，所述采集檔案數據緩存塊包括終端檔案緩存塊、測量點檔案緩存塊、規約數據項參數緩存塊、任務模板緩存塊、任務參數緩存塊。

10.如權利要求7所述的一種基于Redis的采集檔案管理系統，其特征在于：所述分布式緩存服務器基于Redis管理包括存儲容量估算和節點方案設計；

其中，所述存儲容量估算為：根據當前關系型數據庫中采集檔案數據量及未來五年增長率進行估算，并考慮服務器自身運行所需占用內存資源和業務應用所需占用內存資源的比例，綜合計算出所需內存容量；

其中，所述節點方案設計為：根據存儲容量估算結果，設計Redis服務器數量和內存容量，綜合考慮主從數據冗余備份、數據存取性能、故障自動發現與節點自動切換的情況，按3臺服務器組成1個主從復制集進行連接。