[發明專利]在建大壩混凝土實時測溫海量數據的存儲方法及裝置

在審

• 申請號: 201410466217.1
• 申請日: 2014-09-12
• 公開（公告）號: CN104268087A
• 公開（公告）日: 2015-01-07
• 發明（設計）人: 林鵬;李慶斌;高向友
• 申請（專利權）人: 清華大學
• 主分類號: G06F12/02
• 分類號: G06F12/02
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

技術領域

本發明涉及計算機信息化技術領域，特別涉及一種在建大壩混凝土實時測溫海量數據的存儲方法及裝置。

背景技術

相比較海量密集采集的數據而言，一個大型施工現場往往存在上萬個以上的數據采集點，采集的頻率從幾秒到幾分鐘不等，而施工期又往往在10年以上，往往導致海量數據的累積，并且大型水利施工現場往往處于高山峽谷，導致上述單一存儲點的風險大，而且核心數據的安全性尤為重要，因為這些數據隨著施工期不能再次采集，并且后續施工也要以這些數據為基礎，需要進行數據的異地災難備份。

相關技術中，在大型水利施工現場中使用傳感器網絡采集的數據例如溫度、濕度、壓力和人員位置等存儲在現場的數據采集終端中，有的用文件存儲，有的用小型數據庫系統存儲，一些開發的上層應用直接調用文件IO函數或者數據庫SQL(Structured?Query?Language，結構化查詢語言)語言對這些采集上來的數據進行存儲和檢索。然而，相關技術中并沒有一個分布存儲的完整方案，無法充分利用現有低成本、大容量的存儲設備，且不能很好地實現一定冗余，精細度不高，存在數據的安全存儲和檢索的隱患問題。

發明內容

本發明旨在至少在一定程度上解決上述相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種存儲高效、精細度高的在建大壩混凝土實時測溫海量數據的存儲方法。

本發明的另一個目的在于提出一種在建大壩混凝土實時測溫海量數據的存儲裝置。

為達到上述目的，本發明一方面實施例提出了一種在建大壩混凝土實時測溫海量數據的存儲方法，包括以下步驟：將數據打包為固定大小的多個數據塊，并且根據所述多個數據塊中每個數據塊生成對應的數據塊身份識別號ID(Identity，身份識別號)；檢索所述每個數據塊對應的存儲調度節點掌握的資源池，以調度最低代價的存儲目的地；以及根據所述最低代價的存儲目的地發送存儲請求以將所述每個數據塊中數據存儲至相應的存儲位置，并更新存儲位置映射表。

根據本發明實施例提出的在建大壩混凝土實時測溫海量數據的存儲方法，通過將數據打包為固定大小的數據塊，并且檢索數據塊對應的存儲調度節點掌握的資源池，從而調度最低代價的存儲目的地，實現根據最低代價的存儲目的地發送存儲請求以將數據進行存儲的目的，充分利用現有低成本、大容量的存儲設備，精細度和安全性高，提高存儲效率，滿足用戶的使用要求。

另外，根據本發明上述實施例的在建大壩混凝土實時測溫海量數據的存儲方法還可以具有如下附加的技術特征：

在本發明的一個實施例中，所述將數據打包為固定大小的多個數據塊，并且根據所述多個數據塊中每個數據塊生成對應的數據塊ID，進一步包括：將所述每個數據塊的屬性、數據采集點ID、數據采集塊時間段、大小、內容歸一化為唯一標記，以生成所述對應的數據塊ID。

進一步地，在本發明的一個實施例中，上述方法還包括：將所述每個數據塊中數據在預設周期備份至第一預設存儲位置。

進一步地，在本發明的一個實施例中，上述方法還包括：獲取數據塊ID；根據所述數據塊ID與所述檢索映射表獲取所述數據塊的存儲位置；檢索所述數據塊對應的存儲調度節點掌握的資源池，以調度最低代價的存儲目的地；以及根據所述最低代價的存儲目的地發送檢索請求以根據所述存儲位置調用所述數據塊中數據。

進一步地，在本發明的一個實施例中，上述方法還包括：將調用次數超過預設次數的數據塊存儲至第二預設存儲位置。

本發明另一方面實施例提出了一種在建大壩混凝土實時測溫海量數據的存儲裝置，包括：生成模塊，用于將數據打包為固定大小的多個數據塊，并且根據所述多個數據塊中每個數據塊生成對應的數據塊ID；第一檢索模塊，用于檢索所述每個數據塊對應的存儲調度節點掌握的資源池，以調度最低代價的存儲目的地；以及存儲請求模塊，用于根據所述最低代價的存儲目的地發送存儲請求以將所述每個數據塊中數據存儲至相應的存儲位置，并更新存儲位置映射表。

根據本發明實施例提出的在建大壩混凝土實時測溫海量數據的存儲裝置，通過將數據打包為固定大小的數據塊，并且檢索數據塊對應的存儲調度節點掌握的資源池，從而調度最低代價的存儲目的地，實現根據最低代價的存儲目的地發送存儲請求以將數據進行存儲的目的，充分利用現有低成本、大容量的存儲設備，精細度和安全性高，提高存儲效率，滿足用戶的使用要求。

另外，根據本發明上述實施例的在建大壩混凝土實時測溫海量數據的存儲裝置還可以具有如下附加的技術特征：