[發(fā)明專利]一種基于層級(jí)時(shí)間柵欄的增量數(shù)據(jù)管理的方法及裝置

在審

• 申請?zhí)枺?/td>: 202010879085.0
• 申請日: 2020-08-27
• 公開（公告）號(hào): CN112052249A
• 公開（公告）日: 2020-12-08
• 發(fā)明（設(shè)計(jì)）人: 胡偉鳳;高雪松
• 申請（專利權(quán)）人: 青島聚好聯(lián)科技有限公司
• 主分類號(hào): G06F16/23
• 分類號(hào): G06F16/23;G06F16/2458;G06F16/25
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 張懷陽

本發(fā)明公開了一種基于層級(jí)時(shí)間柵欄的增量數(shù)據(jù)管理的方法及裝置，包括：獲取設(shè)備的當(dāng)前時(shí)刻的增量數(shù)據(jù)。若根據(jù)設(shè)備的設(shè)備ID確定設(shè)備為已存儲(chǔ)設(shè)備，則將增量數(shù)據(jù)確定為設(shè)備在當(dāng)前發(fā)送周期的結(jié)束時(shí)刻的歷史狀態(tài)數(shù)據(jù)。確定在當(dāng)前發(fā)送周期的結(jié)束時(shí)刻之前接收到設(shè)備的新的增量數(shù)據(jù)時(shí)，將新的增量數(shù)據(jù)確定為設(shè)備在當(dāng)前發(fā)送周期的結(jié)束時(shí)刻的歷史狀態(tài)數(shù)據(jù)，直到確定在當(dāng)前發(fā)送周期的結(jié)束時(shí)刻之前未收到設(shè)備的新的增量數(shù)據(jù)時(shí)將當(dāng)前發(fā)送周期的結(jié)束時(shí)刻的歷史狀態(tài)數(shù)據(jù)存儲(chǔ)至存儲(chǔ)系統(tǒng)。避免后續(xù)數(shù)據(jù)分析過程進(jìn)行數(shù)據(jù)回填過程，不再需要通過比較歷史數(shù)據(jù)確定該時(shí)刻的設(shè)備狀態(tài)數(shù)據(jù)，減少逐條時(shí)間比較的時(shí)間和計(jì)算，提升數(shù)據(jù)挖掘效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)管理領(lǐng)域，尤其涉及一種基于層級(jí)時(shí)間柵欄的增量數(shù)據(jù)管理的方法及裝置。

背景技術(shù)

隨著物聯(lián)網(wǎng)技術(shù)的進(jìn)一步發(fā)展以及應(yīng)用規(guī)模的擴(kuò)大，海量傳感器數(shù)據(jù)將不斷采集的數(shù)據(jù)發(fā)送至數(shù)據(jù)中心。而物聯(lián)網(wǎng)大數(shù)據(jù)的存儲(chǔ)與管理，需要持久化存儲(chǔ)數(shù)據(jù)，實(shí)時(shí)檢索數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行及時(shí)的分析和處理，并提供高效的計(jì)算框架，最終對(duì)數(shù)據(jù)實(shí)現(xiàn)有效的感知與控制。

傳統(tǒng)增量數(shù)據(jù)存儲(chǔ)過程為系統(tǒng)收到“設(shè)備狀態(tài)增量數(shù)據(jù)”后對(duì)編碼數(shù)據(jù)進(jìn)行相應(yīng)狀態(tài)解析等etl(Extract-Transform-Load，抽取-轉(zhuǎn)換-加載)數(shù)據(jù)處理，然后即存入分布式大數(shù)據(jù)存儲(chǔ)系統(tǒng)中，待后續(xù)數(shù)據(jù)分析與查詢。其中，設(shè)備狀態(tài)增量數(shù)據(jù)指的是相同設(shè)備的傳感數(shù)據(jù)只有在值發(fā)生變化時(shí)才上報(bào)并存儲(chǔ)，在維持傳感狀態(tài)值的時(shí)間段內(nèi)不收集與存儲(chǔ)設(shè)備狀態(tài)值。這種方式雖然明確記錄了設(shè)備的歷史傳感狀態(tài)信息，但給后期的數(shù)據(jù)分析造成了很大的困擾與不便，特別對(duì)基于時(shí)間維度(如整點(diǎn)數(shù)據(jù)分析)的數(shù)據(jù)統(tǒng)計(jì)與分析需求帶來了額外的數(shù)據(jù)處理與計(jì)算開銷。例如，某空調(diào)設(shè)備會(huì)實(shí)時(shí)上報(bào)當(dāng)前電流、電壓值，在空調(diào)運(yùn)行周期內(nèi)只有電流或電壓傳感器的值發(fā)生改變時(shí)，才會(huì)將數(shù)據(jù)上報(bào)給大數(shù)據(jù)平臺(tái)進(jìn)行存儲(chǔ)，在開機(jī)時(shí)間段內(nèi)如果外界環(huán)境影響較小，可能在電流電壓保持恒定的幾個(gè)小時(shí)內(nèi)都不會(huì)產(chǎn)生上報(bào)數(shù)據(jù)。若當(dāng)前需求為依據(jù)上報(bào)歷史數(shù)據(jù)計(jì)算某型號(hào)空調(diào)設(shè)備在以天為單位的時(shí)間范圍內(nèi)的耗電量情況，則需先根據(jù)上報(bào)時(shí)間對(duì)源數(shù)據(jù)進(jìn)行數(shù)據(jù)回填，切分時(shí)間單位(小時(shí))，此時(shí)逐條解析與比較尋找時(shí)間節(jié)點(diǎn)的操作，增加了分布式處理系統(tǒng)的計(jì)算與計(jì)算時(shí)間。

因此，現(xiàn)亟需一種數(shù)據(jù)管理方法，以避免了后續(xù)數(shù)據(jù)分析過程進(jìn)行數(shù)據(jù)回填過程，減少逐條時(shí)間比較的時(shí)間和計(jì)算，提升數(shù)據(jù)挖掘效率。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種基于層級(jí)時(shí)間柵欄的增量數(shù)據(jù)管理的方法及裝置，用于避免后續(xù)數(shù)據(jù)分析過程進(jìn)行數(shù)據(jù)回填過程，減少逐條時(shí)間比較的時(shí)間和計(jì)算，提升數(shù)據(jù)挖掘效率。

第一方面，本發(fā)明實(shí)施例提供一種基于層級(jí)時(shí)間柵欄的增量數(shù)據(jù)管理的方法，包括：

獲取設(shè)備的當(dāng)前時(shí)刻的增量數(shù)據(jù)；所述增量數(shù)據(jù)是所述設(shè)備的狀態(tài)數(shù)據(jù)發(fā)生變化后所述設(shè)備上報(bào)的；所述增量數(shù)據(jù)包括所述設(shè)備的設(shè)備ID(Identity Document，身份標(biāo)識(shí)號(hào))；

若根據(jù)所述設(shè)備的設(shè)備ID確定所述設(shè)備為已存儲(chǔ)設(shè)備，則將所述增量數(shù)據(jù)確定為所述設(shè)備在當(dāng)前發(fā)送周期的結(jié)束時(shí)刻的歷史狀態(tài)數(shù)據(jù)；所述發(fā)送周期是用戶通過時(shí)間柵欄標(biāo)簽設(shè)置的；

確定在所述當(dāng)前發(fā)送周期的結(jié)束時(shí)刻之前是否接收到所述設(shè)備的新的增量數(shù)據(jù)，若是，則繼續(xù)將所述新的增量數(shù)據(jù)確定為所述設(shè)備在當(dāng)前發(fā)送周期的結(jié)束時(shí)刻的歷史狀態(tài)數(shù)據(jù)，直到確定在所述當(dāng)前發(fā)送周期的結(jié)束時(shí)刻之前未收到所述設(shè)備的新的增量數(shù)據(jù)時(shí)將所述當(dāng)前發(fā)送周期的結(jié)束時(shí)刻的歷史狀態(tài)數(shù)據(jù)存儲(chǔ)至存儲(chǔ)系統(tǒng)。