[發明專利]一種物聯網海量數據存儲方法及系統

有效

• 申請號: 201210461075.0
• 申請日: 2012-11-15
• 公開（公告）號: CN103023970A
• 公開（公告）日: 2013-04-03
• 發明（設計）人: 李廷力;田野;杜源峰;劉陽
• 申請（專利權）人: 中國科學院計算機網絡信息中心
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 余長江

技術領域

本發明涉及一種物聯網存儲方法及系統，特別涉及基于NoSQL的物聯網數據存儲方法及系統。

背景技術

物聯網（Internet?of?Things,IoT）通過各類信息感知設備將物品與互聯網相聯，讓所有能夠被獨立尋址的普通物理對象可以實現信息交換，最終達到智能化識別、定位、跟蹤、監控和管理的目的。

數據是物聯網最有價值的一個方面，在物聯網環境下，數據來源于不同的傳感設備，并代表著數以十億計的對象，總體而言，物聯網數據呈現以下特征：

1、多源異構。物聯網數據來源于不同的感知設備，如RFID（Radio?Frequency?Identification，無線射頻識別）識讀器、視頻設備、溫度傳感器、濕度傳感器等。來源于不同設備的數據有著不同的語義及結構。

2、超大規模。物聯網包含了大量的感知設備，感知設備持續地采集數據，導致了數據規模的急劇膨脹，形成了海量數據。

3、時空相關。物聯網系統中每一個采樣數據都具備時間和空間屬性，用以描述物體狀態在時間和空間上的動態變化。

4、多維標量。當前，物聯網應用通常集成了多個不同各類的感知設備，可同時感知多個指標量（即多維事件），因而采樣數據通常是多維甚至是高維的。

當前，物聯網數據的存儲主要有三種形式：本地式、分布式以及集中式。本地式指采樣數據被存儲于設備的本地存儲單元中；分布式指數據被存儲于網絡中選定的某些節點，通過中間機制實現對數據的訪問；集中式指網絡中各個節點的數據被集中起來，并被發送到遠程的數據中心中集中存儲。前兩種方式最大的缺陷就是節點資源如：存儲空間、處理能力、電量等都是有限的，因此不能支持需要大規模數據及密集查詢的物聯網應用。同時，這兩種方法也不便于數據在不同應用之間共享。因此，當前越來越多的研究專注于集中式的方案。

處理海量數據的集中式方案主要分為兩類：并行數據庫及云數據庫。并行數據庫主要由多個關系型數據庫組成，支持海量的結構化數據的存儲，但這類數據庫性能遠低于NoSQL（Not?Only?SQL，非關系型數據庫）,由于采用的分布式鎖機制，并發程度受到極大限制；此外，此類數據庫數據格式固定，無法靈活地增刪數據字段，有效地應對異構數據，因此，并行數據庫并不適合于存儲管理海量物聯網數據。云數據庫的主要形式是NoSQL數據庫，NoSQL遵循BASE模型（Basically?Available（基本可用）、Soft-state（軟狀態/柔性事務）、Eventual?Consistency（最終一致性）），因此具備高性能有高可擴展性，NoSQL無需固定表結構，通常不存在連接操作，在大數據存取上具備關系型數據庫無法比擬的性能優勢。

發明內容

為了解決上述技術問題本發明提出了一種物聯網海量數據存儲方法，其步驟包括：

1）對物聯網數據進行預處理，將預處理后的數據放入由主節點、分節點和數據接收節點組成的數據庫集群中；

所述預處理為：

1-1）把采樣得到的物聯網數據分類為輕量級數據和多媒體數據；

1-2）將所述輕量級數據進行數據去重處理，對所述多媒體數據進行特定值提取和數據去重處理；

2）根據所述數據庫集群中數據的靜態信息和動態信息，在主節點上建立以SampleElement為存儲單元的SampleRecord記錄；SampleElement為最基本存儲單元，集群中的數據由若干條SampleRecord組成，一條SampleRecord由若干SampleElement構成。

3）對所述SampleRecord記錄封裝后由主節點下發至每個分節點進行分片處理和/或分離存儲；

4）所述分節點完成存儲后將結果上傳至主節點，主節點更新該數據庫集群中的數據，完成存儲。

所述靜態信息包括：數據的ID、所屬領域和數據類型；所述動態信息包括：輕量級數據和多媒體數據；所述輕量級數據包括：數值類型和字符型；所述輕量化多媒體數據包括：輕量化多媒體數據類型（視頻、圖像、音頻……）、數據格式（如果類型是圖像的話，則這里可以是jpep、gif、png等）、興趣值、摘要值以及指向多媒體數據原始值的一個指針。

所述預處理中多媒體數據特定值根據興趣值和摘要值提取；所述興趣值由用戶設定，所述摘要值使用MD5或SHA算法。針對摘要值的本質是提取一個“數據指紋”，以一個較短的值來達到唯一標識數據的目的。

優選地，所述數據去重處理使用設定閥值或塊級去重。