[發明專利]海量數據存儲和檢索方法

有效

• 申請號: 201210210314.5
• 申請日: 2012-06-21
• 公開（公告）號: CN102750377A
• 公開（公告）日: 2012-10-24
• 發明（設計）人: 唐耀斌;朱文俊
• 申請（專利權）人: 深圳市谷米科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.海量數據存儲和檢索方法，其特征在于：包括以下步驟：

(1)、在服務器的文件系統中，按時間段建立目錄，每個目錄下包含眾多<id>.data命令的設備數據文件，每個設備數據文件存放對應設備id在指定時間段的所有數據記錄；

(2)、服務器收到設備上傳數據后，根據數據上報時段將同一時間段上報的所有數據匯總到以該時間段命名的目錄下，然后根據設備標識(id)把某時段內一個或多個設備的上報數據匯總到以該時段命名的目錄下的與該設備標識關聯的文件內；

(3)、進行數據存儲時，先緩存一定規模的上報數據，并按步驟1和2對緩存數據進行規整，當緩存數據達到設定規模時，一次性集中刷新到服務器的文件系統中；

(4)、查詢數據時，根據所需查詢的設備標識(id)與時間段，讀取相應文件并篩選出查詢結果。

2.根據權利要求1所述的海量數據存儲和檢索方法，其特征在于：步驟1中，在指定時間段的目錄下，設備數據文件與設備id一一對應，或一個設備數據文件存儲多個id設備的數據記錄。

3.根據權利要求1所述的海量數據存儲和檢索方法，其特征在于：步驟3中，數據存儲的步驟具體步驟如下：a、設備上傳的數據通過網關傳送到設備數據隊列；b、從設備數據隊列批量獲取設備數據，檢查記錄合法性，并將有效記錄放入內存I；c、定期檢查內存I的設備數據記錄數，內存I內的設備數據記錄數超過限額，則將這些記錄一次性追加到當前臨時文件中；并同時把內存I的所有記錄按時間段和id進行規整，規整后的數據移入內存II和內存III中；d、內存III中緩存記錄數超過設定限額(一次批量寫入磁盤的記錄數)，將內存III中緩存記錄按步驟1和2中的規則寫入磁盤；e、將內存III中緩存記錄刷新到服務器的文件系統，完成海量數據的存儲。

4.根據權利要求3所述的海量數據存儲和檢索方法，其特征在于：內存II中緩存經過規整但尚未寫入文件系統的設備數據，供內存查詢，內存II和服務器文件系統構成了查詢數據庫。

5.根據權利要求1所述的海量數據存儲和檢索方法，其特征在于：步驟4中，接到外部的查詢請求時，由查詢的設備id和時間段定位到對應的設備數據文件，進入內存II和服務器文件系統檢索相應的設備數據文件，讀取相應的記錄并進行排序處理，最后返回響應。