[發明專利]一種海量傳感器數據存儲與查詢方法

有效

• 申請號: 201210093419.7
• 申請日: 2012-03-31
• 公開（公告）號: CN102651020A
• 公開（公告）日: 2012-08-29
• 發明（設計）人: 丁治明
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 余長江

技術領域

本發明涉及傳感器數據領域及時態與空間數據庫領域，提出了一種能夠同時支持快速時空查詢和關鍵字查詢的海量傳感器采樣數據存儲與查詢處理方法。

背景技術

目前，各類傳感器應用系統中，對海量傳感器采樣數據集中存儲管理與查詢處理的需求非常強勁，例如在物聯網系統、智能交通系統、城市實時監控系統中，需要將海量的、不同類型的、持續動態上傳的傳感器采樣值集中存放在數據中心，并通過相應的查詢接口對傳感器的歷史及當前采樣值進行快速的查詢與分析處理，從而進行相應的應對處理。

然而，針對上述需求，目前還沒有有效的解決方案。在海量數據處理方面，目前最有效的方法是云數據管理技術。但是幾乎所有的云數據管理系統均為“鍵值”數據庫，即按照主關鍵字對數據進行分布組織和查詢處理，從而快速地提取與查詢關鍵字相對應的完整數據庫記錄。這種方法在應對傳感器采樣數據時存在著諸多的局限性，例如在針對傳感器采樣數據的查詢中，僅有小部分的查詢是關鍵字查詢(如“查詢傳感器“S001”的歷次采樣數據序列”)，而更多的查詢是基于時間與空間約束條件來表示的(如“查找區域A中所有空氣監控傳感器在t時刻的采樣值”)。對于這種基于時空約束條件的查詢，“鍵值”數據庫是無法有效地進行支持的。

針對海量數據處理的另一項關鍵技術是并行數據庫技術。并行數據庫技術將多個關系數據庫組織成數據庫集群，來支持海量結構化數據的處理。但是，這種方法在應對傳感器采樣數據管理時同樣存在著諸多的缺陷。首先，關系數據庫集群在處理關鍵字查詢時的性能要遠低于鍵值數據庫，不能很好地支持“鍵值”查詢；其次，關系數據庫集群采用了嚴格的事務處理機制(如數據加鎖機制、多版本機制等)，因此在面對頻繁更新的傳感器采樣數據時，效率十分低下，極大地限制了所能夠支持的傳感器數據的規模；最后，關系數據庫集群通常只支持常規的通用數據類型和查詢操作，而無法有效地針對復雜異構的、帶有時空屬性的傳感器采樣數據進行表示、計算和查詢處理。

發明內容

針對目前在海量異構傳感器采樣數據查詢處理方面缺乏有效方法的現狀，本發明提出一種時空數據庫與鍵值數據庫相結合的海量傳感器采樣數據存儲與查詢處理方法(為了方便敘述，我們將該方法簡稱為“STDB-KV存儲方法”)，目的是為傳感器系統中的海量數據管理提供一種可行的解決方案。該方法不僅能夠通過專用的數據類型和查詢操作有效地存儲和查詢傳感器歷史及當前采樣數據，而且可以同時支持快速的時空查詢和關鍵字查詢。根據詳細的文獻調研分析，目前在這方面的相關研究與產品研發均處于空白。

為了實現上述目的，本發明所采用的技術方案是：

一種海量傳感器數據存儲方法，其步驟為：

1)建立一包括一根結點和若干葉結點的兩層存儲架構；其中，根結點存儲一全局查詢所需的全局數據字典，葉結點存儲傳感器采樣數據；所述全局數據字典包括一管轄區域分區表和一全局關鍵字分區表；每一葉結點對應一管轄區域，所有葉結點的管轄區域構成所述管轄區域分區表；所述全局關鍵字分區表的記錄格式為(keyRange，nodeID)，keyRange是關鍵字值域中的一個區域范圍，nodeID是與該范圍相對應的葉結點的標識；

2)采樣數據接收服務器根據所述管轄區域分區表將傳感器發送來的采樣數據分配給相應的葉結點；

3)每一葉結點將傳感器對同一監控對象的歷次采樣值以統一的形式存儲到葉結點數據庫的一個元組中，構成該監控對象的采樣數據序列；其中，所述數據庫采用關系表存儲所述采樣數據序列，所述關系表的字段包括：監控對象的標識ObjID、監控對象的具體類型ObjType、部署者DeployedBy、部署時間DepoyedTime、監控對象的宿主對象HostObj、監控對象的采樣數據序列Samplings；

4)建立所述兩層存儲架構的全局時空分布式索引和全局關鍵字分布式索引。

進一步的，所述統一的形式為：svalue＝(t，(x，y)，schema，value)；其中，t為采樣時間，(x，y)采樣地點；schema為采樣數據所包含的數據項以及各數據項的數據類型，value為具體的采樣數據值；如果schema和value包含多個分量，則用括號對分量的邊界進行劃分。

進一步的，所述監控對象包括靜止監控對象和移動監控對象；所述傳感器的采樣數據的數據格式為：(objID，staticMov，svalue)，其中，objID是監控對象的標識，staticMov標明監控對象是靜止的還是移動的。