[發明專利]數據存儲裝置和數據存儲方法

有效

• 申請號: 201310182207.0
• 申請日: 2013-05-16
• 公開（公告）號: CN104166650B
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 劉元
• 申請（專利權）人: 方正寬帶網絡服務股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京友聯知識產權代理事務所(普通合伙)11343
• 代理人: 尚志峰,汪海屏

技術領域

本發明涉及數據處理技術領域，具體而言，涉及一種數據存儲裝置和一種數據存儲方法。

背景技術

目前的網絡流量監控系統通過SNMP服務獲取數據，然后使用RRD環形數據庫存儲和更新數據，當用戶需要查看數據時，可以調用RRDTool生成圖進行查看。因此RRD環形數據庫作為數據容器，其容量大小直接影響RRDTool生成圖表的時間范圍和數據精度兩項重要性能指標。由于RRD文件使用固定大小的空間來存儲數據，并有一個指針指向最新的數據的位置，當所有可用位置都被用過后，該循環過程會自動重新使用已使用過的位置，這導致已使用過的位置的數據被覆蓋，無法實現在一個RRD文件內保存大量數據不丟失。

目前存在兩種方案，可以分別解決大時間范圍和數據高精度的問題，但無法有效平衡這兩者的關系。

1．降低時間范圍，利用不同的RRD文件存儲數據。

由于RRD文件使用固定大小的空間來存儲數據，不存在類似關系型數據庫自動擴容的功能，所以根據實際需要，可以犧牲時間范圍，保證精度，即將一個大數據分別存儲在多個RRD文件內，以滿足高精度的要求，但RRDTool無法解決針對多個RRD文件的生成圖表的問題。

2．降低數據精度，利用相同的RRD文件存儲數據。

由于RRD文件使用固定大小的空間來存儲數據，不存在類似關系型數據庫自動擴容的功能，所以根據實際需要，可以犧牲精度，保證時間范圍，即將一個大數據進行均勻抽取后，將抽取出的數據存儲在一個RRD文件內，以滿足大時間范圍的要求，但RRDTool生成圖表的精度較低。

因此，需要一種新的數據存儲技術，能夠在根據存儲數據生成圖表時，同時滿足圖表的數據精度和時間范圍兩項指標，便于用戶進行查看。

發明內容

本發明正是基于上述問題，提出了一種數據存儲技術，能夠在根據存儲數據生成圖表時，同時滿足圖表的數據精度和時間范圍兩項指標，便于用戶進行查看。

有鑒于此，本發明提出了一種數據存儲裝置，包括：存儲文件創建單元，用于根據多個預設時間范圍分別創建相應的存儲文件；實時數據獲取單元，用于獲取實時數據，并將所述實時數據存儲至中轉文件；數據存儲單元，用于從所述中轉文件中獲取數據，并根據所述數據的時間所在的時間范圍，將所述數據存儲至與所述時間范圍對應的存儲文件。

在該技術方案中，存儲文件可以是RRD文件，中轉文件可以是.TXT格式的文件，在對系統進行監控時，可以通過SNMP（Simple Network Management Protocol，簡單網絡管理協議）實時獲取系統數據，然后將獲取到的數據以分布式存儲的方式（比如以Key-Value的格式）存儲至中轉文件，由于存儲文件根據預設時間范圍創建，每一個預設時間范圍可以對應一個存儲文件，當從中轉文件中讀取數據存儲至存儲文件時，可以根據數據的時間所在的時間范圍將該數據存儲至相應的存儲文件，避免了將所有數據存儲在一個存儲文件中而造成數據覆蓋，或將數據均勻抽取再進行存儲而導致精度降低，從而在根據這些存儲文件查詢數據繪制圖表時，可以根據需要查詢數據的時間范圍從相應的存儲文件中獲取數據，而相應的存儲文件中存儲的數據可以包括用戶所需查詢的時間范圍內的全部數據（一般為一年的數據或兩年的數據），進而在調用RRDTool生成圖表時，可以同時保證圖表的數據精度和時間范圍。

根據本發明的又一方面，還提出了一種數據存儲方法，包括：步驟202，根據多個預設時間范圍分別創建相應的存儲文件；步驟204，獲取實時數據，并將所述實時數據存儲至中轉文件；步驟206，從所述中轉文件中獲取數據，根據所述數據的時間所在的時間范圍，將所述數據存儲至與所述時間范圍對應的存儲文件。