[發明專利]冷熱數據分介質存儲平臺設計系統及方法

有效

• 申請號: 201711105414.0
• 申請日: 2017-11-10
• 公開（公告）號: CN107979636B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 謝朝陽;陳劭力;李昊溟
• 申請（專利權）人: 上海華訊網絡系統有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/26;H04L12/851
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 郭國中

本發明公開了一種冷熱數據分介質存儲平臺設計系統及方法，該系統包括：路由器，用于對全網傳送的所有數據流的分類，區分出由不同應用源產生的數據流；NetFlow流量收集器，用于收集Netflow流量；暫存數據庫,用于存儲尚無法判斷冷熱程度的NetFlow流量及其對應的數據；NetFlow歷史數據庫,用于接收統計結并分析相關的安全策略和計費策略；NetFlow監控終端,用于整個存儲平臺的人機接口，提供多種功能。本發明對整個企業或者數據中心的網絡內產生的心的待存儲數據的冷熱程度進行分類，按結果將數據對應存儲到不同的保存介質中，實現存儲成本的降低。

技術領域

本發明涉及一種用于企業或者數據中心的數據存儲平臺設計方法，特別是涉及一種冷熱數據分介質存儲平臺設計系統和方法。

背景技術

當前，在各個數據中心或者企業的IT系統內，對于數據的存儲仍舊廣泛地采用最為傳統的磁盤或者磁帶作為單一的存儲介質。

電存儲介質，以固態硬盤為代表，存儲效率非常高，但是相應的設備成本也較高，并且使用壽命相對磁盤更有限，數據一旦丟失就不可恢復，因此并不適合于大規模數據的長期存儲。

光存儲介質，目前以藍光技術為代表，具有抗自然災害、抗磁暴、抗人為數據刪除的優點，藍光存儲介質可達到50年以上的存儲壽命，目前單張藍光光盤的容量已達到100GB，存儲密度相當高，具有單位存儲容量成本低的優勢，并使得數據的物理性遷移變得方便。藍光存儲僅在讀寫過程中耗能，又無需為其設置專門的空調環境，因此在12年以上的長期保存情況下，藍光存儲的能耗將會只有磁盤存儲的1/500；不過，藍光技術也存在著只能一次性寫入，無法再做修改的限制。因此，相對于磁和電存儲介質，光存儲更適合對使用頻率較低的大規模數據進行長期保存，可提高數據安全性，節省存儲設備成本和功耗。

磁存儲介質作為技術最為成熟的存儲介質，可支持讀寫操作，成本相對可控，各項存儲性能指標比較中庸，存在著易受電磁影響失效、無法確保長期的可靠壽命，且存儲設備本身以及存儲環境空調設備所消耗的能耗較高的缺陷。

數據按照其被訪問的頻繁程度的由高到低可以被分為熱數據、溫數據和冷數據。統計發現，對于一家企業而言，在其所需存儲的所有數據中，使用頻率非常低的冷數據占到了70％-80％。如果用藍光介質來存儲這些冷數據，同時用SSD來存儲使用頻率極高但占比很少的熱數據部分，對剩下的溫數據則仍采用傳統的磁存儲這樣的模式的話，就能實現在大幅降低數據存儲成本的同時還提高了存儲的效率和可靠性的效果。

要實現上述分介質存儲的前提在于兩點：

(一)要把分散的各個存儲設備進行整合，歸入到一個統一的多介質存儲平臺下，從而能實現對所有數據的集中式統一管理，并帶來諸如消除存儲冗余、便于性能擴展以及數據挖掘等優勢；

(二)在存儲平臺的數據入口就能夠快速判斷出數據的冷熱程度，從而對數據的存儲進行分介質導流。

發明內容

本發明所要解決的技術問題是提供一種冷熱數據分介質存儲平臺設計系統和方法，對整個企業或者數據中心的網絡內產生的心的待存儲數據的冷熱程度進行分類，按結果將數據對應存儲到不同的保存介質中，實現存儲成本的降低。

為了解決上述技術問題：本發明首先提供了一種冷熱數據分介質存儲平臺設計系統，包括：

路由器，用于對全網傳送的所有數據流的分類，區分出由不同應用源產生的數據流；

Netflow流量收集器，用于收集Netflow流量；

暫存數據庫,用于存儲尚無法判斷冷熱程度的NetFlow流量及其對應的數據；

NetFlow歷史數據庫,用于接收來自緩存數據庫的已經經過統計并獲得了統計結果的NetFlow流量并分析相關的安全策略和計費策略等；