[發明專利]冷熱數據分介質存儲平臺設計系統及方法

有效

• 申請號: 201711105414.0
• 申請日: 2017-11-10
• 公開（公告）號: CN107979636B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 謝朝陽;陳劭力;李昊溟
• 申請（專利權）人: 上海華訊網絡系統有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/26;H04L12/851
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 郭國中

1.一種冷熱數據分介質存儲平臺設計系統，其特征在于，該系統包括:

路由器，用于對全網傳送的所有數據流的分類，區分出由不同應用源產生的數據流；

Netflow流量收集器，用于收集Netflow流量；

暫存數據庫,用于存儲尚無法判斷冷熱程度的NetFlow流量及其對應的數據；

NetFlow歷史數據庫,用于接收來自緩存數據庫的已經經過統計并獲得了統計結果的NetFlow流量并分析相關的安全策略和計費策略；

NetFlow監控終端,用于整個存儲平臺的人機接口，提供多種功能；

存儲資源池，用于將分散的存儲資源進行統一的納管同時能提供對大規模數據的挖掘能力，將不敏感的數據保存到公有云端，進一步降低數據的存儲成本；

數據管理終端，用于數據管理員訪問和操作存儲資源池和暫存數據庫，進行基本的資源檢索和修改、資源訪問權限控制，管理和配置存儲資源池的Hadoop和ApacheSpark的各個功能模塊，并在這些功能模塊的基礎上加載各種數據分析程序；

訪問接口,用于方便的訪問到存儲平臺內的存儲資源池和暫存數據庫，在其權限范圍內查詢和使用整個企業或數據中心內已保存的數據，向外提供數據分析功能，方便外部程序按其業務需求調用這些功能；

所述NetFlow流量收集器包括：

冷熱數據判斷模塊，用于對照NetFlow模板及數據冷熱基線庫中已保存的判斷依據快速判別出接收到的NetFlow流量所對應的數據流的冷熱，將數據按照其冷熱判別結果來保存或歸檔到對應的存儲介質中，對于無法判別的NetFlow流量，則連同其所對應的數據流一起按照預設值的存放格式存入暫存數據庫中待處理；

Netflow模板及數據冷熱基線庫，用于存儲V9版本的NetFlow的自定義的NetFlow數據模板，對所接收到的NetFlow流量進行解析，根據接收到的NetFlow流量特征直接索引出數據的冷熱度，快速將數據導向適合的存儲介質；

所述Netflow監控終端功能包括：

針對NetFlow模板及數據冷熱基線庫的訪問操作功能，用于用戶查看和編NetFlow模板及數據冷熱基線庫中的NetFlow流量特征-數據冷熱程度對照表和NetFlow數據模板，自定義新的NetFlow流量類型并指定其冷熱程度，利用NetFlow監控終端將新的數據模板配置到各個路由器中，并同時更新NetFlow模板及數據冷熱基線庫中記錄的NetFlow數據模板；

針對數據冷熱屬性統計模塊的訪問操作功能，用于查看數據冷熱屬性統計模塊中的統計信息，并能以直方圖、條形圖和餅圖形式直觀的呈現，還能以電子表格的形式輸出統計報告，對數據冷熱屬性統計模塊中的統計方法進行編輯，調整統計周期，修改統計分值的算法；

針對NetFlow歷史數據庫的訪問操作功能，用于提供用戶按其需求檢索NetFlow歷史數據庫的能力，且能輸出相應的報告，并提供對NetFlow歷史數據庫的訪問接口給各個具體的數據分析業務程序調用。

2.如權利要求1所述的冷熱數據分介質存儲平臺設計系統，其特征在于，所述路由器直接使用企業或數據中心現成的路由器。

3.如權利要求1所述的冷熱數據分介質存儲平臺設計系統，其特征在于，Netflow流量收集器用一臺帶網關的微服務器充當。