[發(fā)明專利]一種基于Redis的采集檔案管理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010973929.8
• 申請日: 2020-09-16
• 公開（公告）號: CN112364105A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 宋強(qiáng)
• 申請（專利權(quán)）人: 貴州電網(wǎng)有限責(zé)任公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/27;G06F16/25;G06F16/2455
• 代理公司: 成都玖和知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51238
• 代理人: 胡琳梅

本發(fā)明公開了一種基于Redis的采集檔案管理方法，通過在采集系統(tǒng)中增加分布式緩存服務(wù)器，進(jìn)行采集檔案數(shù)據(jù)緩存；其中，所述分布式緩存服務(wù)器基于Redis管理，負(fù)責(zé)執(zhí)行采集檔案數(shù)據(jù)同步寫入、分塊存儲和并行讀取功能。本發(fā)明降低了關(guān)系型數(shù)據(jù)庫采集檔案數(shù)據(jù)讀取壓力，實(shí)現(xiàn)采集檔案數(shù)據(jù)高性能存取、節(jié)點(diǎn)資源橫向動態(tài)擴(kuò)展、故障自動發(fā)現(xiàn)和節(jié)點(diǎn)自動切換。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)及數(shù)據(jù)處理技術(shù)領(lǐng)域，涉及一種基于Redis的采集檔案管理方法，還涉及一種基于Redis的采集檔案管理系統(tǒng)。

背景技術(shù)

在采集系統(tǒng)中，很多業(yè)務(wù)都需要關(guān)聯(lián)采集檔案數(shù)據(jù)進(jìn)行加工處理，對于關(guān)系型數(shù)據(jù)庫中的采集檔案數(shù)據(jù)存取非常頻繁，極大影響數(shù)據(jù)庫性能以及業(yè)務(wù)應(yīng)用。因此有必要在采集系統(tǒng)中增加基于Redis的分布式緩存，對現(xiàn)有技術(shù)進(jìn)行改進(jìn)，提高采集檔案數(shù)據(jù)存取性能，支撐業(yè)務(wù)高效應(yīng)用。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的是提供一種基于Redis的采集檔案管理方法。通過在采集系統(tǒng)中增加分布式緩存服務(wù)器，進(jìn)行采集檔案數(shù)據(jù)緩存；其中，所述分布式緩存服務(wù)器基于Redis管理，負(fù)責(zé)執(zhí)行采集檔案數(shù)據(jù)同步寫入、分塊存儲和并行讀取功能。

本發(fā)明的第一方面的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種基于Redis的采集檔案管理方法，該方法為：通過在采集系統(tǒng)中增加分布式緩存服務(wù)器，進(jìn)行采集檔案數(shù)據(jù)緩存；

其中，所述分布式緩存服務(wù)器基于Redis管理，負(fù)責(zé)執(zhí)行采集檔案數(shù)據(jù)同步寫入、分塊存儲和并行讀取功能。

進(jìn)一步，所述采集檔案數(shù)據(jù)同步寫入為從關(guān)系型數(shù)據(jù)庫中抽取采集檔案數(shù)據(jù)加載到Redis中，抽取加載方式包括全量定時和增量觸發(fā)兩種方式；

其中，所述全量定時抽取加載方式為：根據(jù)系統(tǒng)事先設(shè)置的定時任務(wù)，系統(tǒng)定時啟動該任務(wù)，抽取關(guān)系型數(shù)據(jù)庫中所有采集檔案數(shù)據(jù)加載到Redis中，全量替換Redis中原有全部采集檔案數(shù)據(jù)。

其中，所述增量觸發(fā)抽取加載方式為：系統(tǒng)根據(jù)采集檔案數(shù)據(jù)變更情況自動觸發(fā)，抽取關(guān)系型數(shù)據(jù)庫中變更采集檔案數(shù)據(jù)加載到Redis中，更新Redis中原有采集檔案數(shù)據(jù)。

進(jìn)一步，所述采集檔案數(shù)據(jù)分塊存儲為按采集檔案數(shù)據(jù)類型在Redis中劃分出不同的數(shù)據(jù)緩存塊分別存儲不同類型的采集檔案數(shù)據(jù)；

其中，所述采集檔案數(shù)據(jù)緩存塊包括終端檔案緩存塊、測量點(diǎn)檔案緩存塊、規(guī)約數(shù)據(jù)項(xiàng)參數(shù)緩存塊、任務(wù)模板緩存塊、任務(wù)參數(shù)緩存塊。

進(jìn)一步，所述分布式緩存服務(wù)器基于Redis管理包括存儲容量估算和節(jié)點(diǎn)方案設(shè)計(jì)；

其中，所述存儲容量估算為：根據(jù)當(dāng)前關(guān)系型數(shù)據(jù)庫中采集檔案數(shù)據(jù)量及未來五年增長率進(jìn)行估算，并考慮服務(wù)器自身運(yùn)行所需占用內(nèi)存資源和業(yè)務(wù)應(yīng)用所需占用內(nèi)存資源的比例，綜合計(jì)算出所需內(nèi)存容量；

其中，所述節(jié)點(diǎn)方案設(shè)計(jì)為：根據(jù)存儲容量估算結(jié)果，設(shè)計(jì)Redis服務(wù)器數(shù)量和內(nèi)存容量，綜合考慮主從數(shù)據(jù)冗余備份、數(shù)據(jù)存取性能、故障自動發(fā)現(xiàn)與節(jié)點(diǎn)自動切換的情況，按3臺服務(wù)器組成1個主從復(fù)制集進(jìn)行連接。

進(jìn)一步，所述的主從復(fù)制集包括1個Master節(jié)點(diǎn)和2個Slave節(jié)點(diǎn)、3個Sentinel節(jié)點(diǎn)；

其中，所述Master節(jié)點(diǎn)提供采集檔案數(shù)據(jù)寫入和緩存服務(wù)；

其中，所述Slave節(jié)點(diǎn)提供采集檔案數(shù)據(jù)緩存和讀取服務(wù)；

其中，Sentinel節(jié)點(diǎn)提供故障自動發(fā)現(xiàn)與節(jié)點(diǎn)自動切換服務(wù)。

進(jìn)一步，所述采集檔案數(shù)據(jù)并行讀取為：系統(tǒng)可根據(jù)所需讀取采集檔案數(shù)據(jù)類型，在Redis中找到對應(yīng)緩存塊進(jìn)行讀取，還可對同一類型采集檔案數(shù)據(jù)進(jìn)行細(xì)分，分別進(jìn)入不同Slave節(jié)點(diǎn)中找到對應(yīng)數(shù)據(jù)進(jìn)行讀取。