[發明專利]一種IOT大數據實時時序流分析應用技術方法

有效

• 申請號: 202110453665.8
• 申請日: 2021-04-26
• 公開（公告）號: CN113282568B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 熊燦;李偉華
• 申請（專利權）人: 本影（上海）網絡科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/215;G06F16/22;G06F16/2455;G06F16/2458
• 代理公司: 北京中南長風知識產權代理事務所(普通合伙) 11674
• 代理人: 鄭海

本發明公開了一種IOT大數據實時時序流分析應用技術方法，其特征在于：包括以下步驟：步驟一：海量數據庫建庫：S1：對原始數據解析；S2：數據分類結構化存儲；S3：數據對象映射到數據庫結構建立海量數據庫；S4：建立海量數據庫索引；S5：低實時性分析服務；步驟二：實時數據分析：S6：緩存產生的海量數據；S7：實時統計分析服務；S8：緩存分析結果。本發明設計合理，引入數據流存儲和實時分析流數據手段，將二者有機結合、優勢互補的方案，解決海量實時時序數據存儲，加快數據查詢分析的同時，并為數據實時分析資源調度的技術提供支撐能力。

技術領域

本發明基于大數據實時時序流分析技術的應用領域，具體涉及一種IOT大數據實時時序流分析應用技術方法。

背景技術

大數據實時時序流分析(Real-time Series FlowAnalysis OfBig Data)的概念是將收集到的海量時序數據根據數據特性，結合領域或者業內的相關知識進行建模與分析，挖掘大數數據中存在的價值，以便于決策者更好地做出決策。在技術邏輯上，大數據實時時序流分析可分為“實時數據收集存儲+數據實時分析”。實時數據實時收集存儲技術是直接在數據源頭對數據進行ETS(Extract-Transform-Save)操作，通過對數據經過提取、轉換，最終根據各類數據的屬性特征及時序特征對產生的海量數據進行結構化的分布式流存儲。而數據實時數據分析技術通過對采集到的實時時序數據按照領域或者業內的相關知識對數據進行實時分析，及時高效的挖掘其價值，以一種更友好的形式實時展示給管理者，以便于發現存在的問題、價值，以及更好的做出決策。大數據的實時收集存儲與數據實時分析可視化兩者互補，數據的實時收集存儲，確保數據的及時性和有效性，在此基礎上結合數據的實時分析可視化分析，極大地提升了海量數據分析結果的實時性。在以大數據、物聯網、5G為核心的數字化浪潮席卷全球的形勢下，大數據實時時序流分析通過統一的數據平臺將各領域不同維度的時序數據進行結構化、標準化整合，并對獲取到的數據實時分析。通過實現海量數據可存儲，海量數據的快速高效查詢，海量數據實時分析統計監測，并可通過機器學習和仿真模擬挖掘規律、進行預測，使得海量數據能夠為技術、管理人員和其他知識工作者提供了理解數據的新方法，可以顯著的提高他們掌握隱藏在數據中的信息的能力，便于運維和管理人員的迅速感知，做出明智決策。

目前基于大數據的物聯網應用必然會面對海量、實時數據的高效查詢分析統計問題，普通應用方式存在海量的數據存儲、高效實時的數據查詢統計、分析資源調度、數據實時分析等諸多方面的問題和挑戰：

對海量數據存儲問題：隨著技術的不斷發展，現有的各類系統日產生數據量從MB上升至GB，甚至TB量級。對于單個IOT設備，假設每秒產生一百個字節數據量，一天產生的數量大約為85MB,加之系統平臺體量涵蓋幾百至幾萬的物聯設備，整體物聯設備數據屬于海量級別，用傳統方式存儲容量擴展必然遇到瓶頸和難度；

對高效查詢統計分析問題：由于各類平臺面臨的海量數據問題，在存儲的原始數據上，數據動態查詢存在瓶頸和難度，數據分析所需的各種計算性能同樣受到影響，傳統數據存儲方式無法高效、快速的查詢分析數據，技術指標達不到2000萬條/秒(單核，16字節每記錄，全內存)；

對分析資源調度問題：各類系統產生數據的時間點不盡相同，數據量也是很難計算的，這也是大數據的一大特點，不確定性，所以需要一種動態的響應機制，對有限的計算、存儲資源合理的配置及調度，如何以最小的成本或得最理想，最快速的分析結果；

對數據實時分析問題：很多系統大數據分析，都是對所需數據源的數據進行抽取和集成，從中提取出數據的實體和關系，經過關聯和聚合之后采用統一定義的結構來存儲數據，再對所有數據特征進行分析處理，這樣分析出來的結果會缺乏實時性，這將無法滿足實時性要求較高的分析；

為此，我們提出一種IOT大數據實時時序流分析應用技術方法。

發明內容