[發明專利]數據采集中的存儲方法及裝置

有效

• 申請號: 201310377205.7
• 申請日: 2013-08-26
• 公開（公告）號: CN104424236B
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 邱躍鵬;廖建魁;章猛;范成濤;李恭偉
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 何平;鄧云鵬

一種數據采集中的存儲方法，包括：獲取采集數據，獲取所述采集數據的產生時間和采集時間；通過計算所述產生時間和采集時間的差得到偏移值；獲取預設的偏移閾值，判斷所述偏移值是否小于所述偏移閾值，若是，則獲取所述采集數據對應的集中存儲目錄，獲取在所述集中存儲目錄下的與所述產生時間對應的產生時間子目錄，獲取所述產生時間子目錄下的與所述偏移值對應的偏移子目錄中，并將所述采集數據存儲在所述偏移子目錄中。此外，還提供了一種數據采集中的存儲裝置。上述數據采集中的存儲方法及裝置能夠數據讀取時的讀取效率。

技術領域

本發明涉及數據挖掘技術領域，特別是涉及一種數據采集中的存儲方法及裝置。

背景技術

在數據挖掘技術領域中，需要采樣得到大量數據才能根據采集的數據進行數據分析，在傳統技術中，如圖1和圖2所示，通常由多個采樣服務器各自按照預設的周期T（例如周期T可以是1天，采樣服務器每天采集一次數據）進行采集，采樣服務器采集數據的時間即為采集數據的產生時間（如圖1中的T0、T0+T等），采樣服務器再不定期將采集數據發送給統計服務器匯總存儲，統計服務器接收到該采集數據的時間即為該采集數據的采集時間（如圖1中的T0+4T和T0+2T）。

統計服務器在將采集數據進行存儲時，通常對同一類型的采集數據根據采集時間建立目錄，然后在該目錄中根據采集數據的產生時間建立子目錄。

發明人經研究發現上述存儲方式至少存在以下問題：當需要根據產生時間進行檢索時，則需要遍歷所有存儲采集數據的目錄并根據產生時間進行查找，使得遍歷的目錄數量較多，使得讀取效率不高。

發明內容

基于此，有必要提供一種能夠提高讀取效率的數據采集中的存儲方法。

一種數據采集中的存儲方法，包括：

獲取采集數據，獲取所述采集數據的產生時間和采集時間；

通過計算所述產生時間和采集時間的差得到偏移值；

獲取預設的偏移閾值，判斷所述偏移值是否小于所述偏移閾值，若是，則獲取所述采集數據對應的集中存儲目錄，獲取在所述集中存儲目錄下的與所述產生時間對應的產生時間子目錄，獲取所述產生時間子目錄下的與所述偏移值對應的偏移子目錄中，并將所述采集數據存儲在所述偏移子目錄中。

此外，還有必要提供一種能夠提高讀取效率的數據采集中的存儲裝置。

一種數據采集中的存儲裝置，包括：

數據接收模塊，用于獲取采集數據，獲取所述采集數據的產生時間和采集時間；

偏移值計算模塊，用于通過計算所述產生時間和采集時間的差得到偏移值；

數據存儲模塊，用于獲取預設的偏移閾值，判斷所述偏移值是否小于所述偏移閾值，若是，則獲取所述采集數據對應的集中存儲目錄，獲取在所述集中存儲目錄下的與所述產生時間對應的產生時間子目錄，獲取所述產生時間子目錄下的與所述偏移值對應的偏移子目錄中，并將所述采集數據存儲在所述偏移子目錄中。

上述數據采集中的存儲方法及裝置，設置了偏移閾值，并根據偏移閾值將獲取到的采集數據定位到集中存儲目錄中，并將其存儲在該目錄下的與采集數據的產生時間對應的產生時間子目錄下的與所述偏移值對應的偏移子目錄中。使得在讀取采集數據時，可根據偏移值快速定位到相應的目錄進行讀取，與傳統技術中遍歷所有采集數據的讀取方式相比，提高了讀取效率。

附圖說明

圖1為傳統技術中數據采集系統中的數據流向圖；

圖2為一個實施例中數據采集中的存儲方法的流程圖；

圖3為一個實施例中數據存儲時的文件存儲結構示意圖；