[發(fā)明專利]一種IOT大數(shù)據(jù)實(shí)時(shí)時(shí)序流分析應(yīng)用技術(shù)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110453665.8
• 申請(qǐng)日: 2021-04-26
• 公開（公告）號(hào): CN113282568B
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 熊燦;李偉華
• 申請(qǐng)（專利權(quán)）人: 本影（上海）網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/215;G06F16/22;G06F16/2455;G06F16/2458
• 代理公司: 北京中南長(zhǎng)風(fēng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11674
• 代理人: 鄭海

1.一種IOT大數(shù)據(jù)實(shí)時(shí)時(shí)序流分析應(yīng)用技術(shù)方法，其特征在于：包括以下步驟：

步驟一：海量數(shù)據(jù)庫(kù)建庫(kù)：

S1：對(duì)原始數(shù)據(jù)解析

根據(jù)各類系統(tǒng)產(chǎn)生的數(shù)據(jù)的結(jié)構(gòu)不盡相同，開發(fā)一個(gè)程序工具，自動(dòng)解析識(shí)別提取數(shù)據(jù)的要素?cái)?shù)據(jù)，挖掘數(shù)據(jù)中存在價(jià)值的要素?cái)?shù)據(jù)，舍棄非必要數(shù)據(jù)，減少數(shù)據(jù)量，提高數(shù)據(jù)質(zhì)量；

S2：數(shù)據(jù)分類結(jié)構(gòu)化存儲(chǔ)

通過(guò)將第一步得到的數(shù)據(jù)，進(jìn)一步將數(shù)據(jù)分類，將數(shù)據(jù)的靜態(tài)屬性與動(dòng)態(tài)數(shù)據(jù)分開存儲(chǔ)，對(duì)數(shù)據(jù)分類對(duì)象化存儲(chǔ)，將同一類多對(duì)象的靜態(tài)屬性存于一張表以便于多對(duì)象的聚合分析，單個(gè)對(duì)象的動(dòng)態(tài)屬性單獨(dú)存于一張表；

S3：數(shù)據(jù)對(duì)象映射到數(shù)據(jù)庫(kù)結(jié)構(gòu)建立海量數(shù)據(jù)庫(kù)

按照第二步中的思路建好數(shù)據(jù)庫(kù)表，將分類好的數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)到海量數(shù)據(jù)庫(kù)，并且對(duì)于單個(gè)對(duì)象的數(shù)據(jù)在存儲(chǔ)介質(zhì)上是以塊為單位連續(xù)存儲(chǔ)的，它能大幅減少隨機(jī)讀取操作，提高查詢速率，由于單個(gè)對(duì)象的數(shù)據(jù)源唯一的特性，采用無(wú)鎖追加的方式來(lái)寫入數(shù)據(jù)庫(kù)；

S4：建立海量數(shù)據(jù)庫(kù)索引

為提高對(duì)形成海量數(shù)據(jù)集查詢效率，必須根據(jù)數(shù)據(jù)的特征及特性建立索引，在創(chuàng)建單個(gè)對(duì)象動(dòng)態(tài)屬性表的時(shí)候，以時(shí)間戳為主鍵，默認(rèn)創(chuàng)建時(shí)序索引，根據(jù)不同的業(yè)務(wù)需求建立其他普通索引以及聯(lián)合索引，從而進(jìn)一步提升數(shù)據(jù)庫(kù)檢索引擎效率；

S5：低實(shí)時(shí)性分析服務(wù)

基于海量數(shù)據(jù)庫(kù)，進(jìn)行建模與分析，每個(gè)分析服務(wù)其功能盡可能保證單一性，當(dāng)某個(gè)分析服務(wù)并發(fā)數(shù)量較大時(shí)，對(duì)其進(jìn)行集群部署，從而提高分析服務(wù)的性能；

步驟二：實(shí)時(shí)數(shù)據(jù)分析：

S6：緩存產(chǎn)生的海量數(shù)據(jù)

根據(jù)源頭解析處理過(guò)后的數(shù)據(jù)，開發(fā)一個(gè)程序工具，每產(chǎn)生一條數(shù)據(jù)就將其轉(zhuǎn)換結(jié)構(gòu)緩存key-value高性能數(shù)據(jù)庫(kù)中，這個(gè)軟件工具僅且只有這一個(gè)功能，直接對(duì)其集群部署，從而支持其高并發(fā)量；

S7：實(shí)時(shí)統(tǒng)計(jì)分析服務(wù)

基于第六步中key-value高性能數(shù)據(jù)庫(kù)緩存的數(shù)據(jù)，根據(jù)需求開發(fā)實(shí)時(shí)分析服務(wù)，該服務(wù)會(huì)對(duì)緩存的數(shù)據(jù)實(shí)時(shí)輪詢，根據(jù)生產(chǎn)消費(fèi)者模式，從key-value高性能數(shù)據(jù)庫(kù)緩存的數(shù)據(jù)列表首部獲取一條數(shù)據(jù)，則從緩存列表首部移除一條數(shù)據(jù)，減少緩存數(shù)據(jù)的量，假設(shè)每秒系統(tǒng)產(chǎn)生的數(shù)據(jù)量非常大，可對(duì)該實(shí)時(shí)分析服務(wù)進(jìn)性集群部署，增大消費(fèi)者的數(shù)量；

S8：緩存分析結(jié)果

在經(jīng)過(guò)實(shí)時(shí)分析將分析結(jié)果緩存到數(shù)據(jù)庫(kù)中，如果有業(yè)務(wù)需求，將逐條數(shù)據(jù)分析的結(jié)果與原有的分析結(jié)果合并，同時(shí)緩存數(shù)據(jù)的數(shù)據(jù)庫(kù)必須保證每次查詢修改數(shù)據(jù)是原子操作。