[發(fā)明專利]海量設(shè)備數(shù)據(jù)實(shí)時存儲和查詢系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210555363.6
• 申請日: 2022-05-20
• 公開（公告）號: CN114817334A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 錢克成;秦鋼;宋楊;陳波;葉運(yùn)生;周垤飛
• 申請（專利權(quán)）人: 杭州指令集智能科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/25
• 代理公司: 杭州品眾專利代理事務(wù)所(特殊普通合伙) 33459
• 代理人: 蔡陳祥

1.一種海量設(shè)備數(shù)據(jù)實(shí)時存儲和查詢系統(tǒng)，內(nèi)置有數(shù)據(jù)庫，其特征在于：包括：

數(shù)據(jù)寫入模塊，與外部設(shè)備和數(shù)據(jù)庫通信連接，用于在設(shè)備數(shù)據(jù)上報(bào)時，通過配置好定時定量的規(guī)則，向數(shù)據(jù)庫發(fā)起一次數(shù)據(jù)存儲；

數(shù)據(jù)查詢模塊，與數(shù)據(jù)庫通信連接，用于提供API接口，同時根據(jù)時間范圍或設(shè)備ID字段提供分頁查詢，同時根據(jù)聚合函數(shù)和聚合周期進(jìn)行聚合查詢；

數(shù)據(jù)庫切換模塊，設(shè)置有API接口，用于通過API接口實(shí)時切換influxdb、clickhouse和tdengine數(shù)據(jù)庫。

2.根據(jù)權(quán)利要求1所述的海量設(shè)備數(shù)據(jù)實(shí)時存儲和查詢系統(tǒng)，其特征在于：所述定時定量的規(guī)則為：定時為根據(jù)預(yù)設(shè)的時長觸發(fā)一次寫入，定量為根據(jù)內(nèi)存中記錄的數(shù)據(jù)列判斷是否超過配置的數(shù)量，若超過則不執(zhí)行寫入動作，若不超過則執(zhí)行寫入動作。

3.根據(jù)權(quán)利要求1或2所述的海量設(shè)備數(shù)據(jù)實(shí)時存儲和查詢系統(tǒng)，其特征在于：所述分頁查詢的方式為根據(jù)數(shù)據(jù)庫提供的分頁方式，將傳參中的當(dāng)前頁數(shù)current,分頁大小size放入對應(yīng)的sql中，聚合查詢的方式為將聚合函數(shù)類型,根據(jù)不同的數(shù)據(jù)庫轉(zhuǎn)換成對應(yīng)的函數(shù)名，再生成對應(yīng)的sql。

4.根據(jù)權(quán)利要求3所述的海量設(shè)備數(shù)據(jù)實(shí)時存儲和查詢系統(tǒng)，其特征在于：所述數(shù)據(jù)寫入模塊寫入數(shù)據(jù)的具體步驟如下：

步驟一，設(shè)備數(shù)據(jù)上報(bào)時，經(jīng)過設(shè)備業(yè)務(wù)處理過后，會將設(shè)備數(shù)據(jù)轉(zhuǎn)化為歷史數(shù)據(jù)后輸入到寫入模塊；

步驟二，數(shù)據(jù)寫入模塊將接收的歷史數(shù)據(jù)存放到kafka中，再由isc-metadata-service從kafka中獲取設(shè)備歷史數(shù)據(jù)，存放到內(nèi)存隊(duì)列中；

步驟三，通過定時定量的規(guī)則進(jìn)行判別，并在判別通過時，進(jìn)入數(shù)據(jù)存儲步驟，并在存儲時根據(jù)已配置的數(shù)據(jù)庫類型，決定存放到具體哪個數(shù)據(jù)庫。

5.根據(jù)權(quán)利要求4所述的海量設(shè)備數(shù)據(jù)實(shí)時存儲和查詢系統(tǒng)，其特征在于：所述步驟三中還包括數(shù)據(jù)庫切換步驟：

步驟三一，數(shù)據(jù)庫切換模塊讀取配置中的目標(biāo)數(shù)據(jù)庫連接信息，并嘗試連接，若連接成功，則成功切換；否則切換回上一次配置，并提示連接該目標(biāo)數(shù)據(jù)庫異常。

6.根據(jù)權(quán)利要求1或2所述的海量設(shè)備數(shù)據(jù)實(shí)時存儲和查詢系統(tǒng)，其特征在于：所述數(shù)據(jù)查詢模塊查詢讀取數(shù)據(jù)的具體步驟如下：

步驟1，數(shù)據(jù)查詢模塊接收到用戶查詢后，根據(jù)傳入條件，通過已配置的數(shù)據(jù)庫類型找到對應(yīng)的實(shí)例；

步驟2，根據(jù)對應(yīng)的數(shù)據(jù)庫sql語法，生成對應(yīng)sql交由數(shù)據(jù)庫執(zhí)行；

步驟3，數(shù)據(jù)庫執(zhí)行完畢后，再將返回的結(jié)果封裝成統(tǒng)一結(jié)構(gòu)，并返回給用戶。

7.根據(jù)權(quán)利要求2所述的海量設(shè)備數(shù)據(jù)實(shí)時存儲和查詢系統(tǒng)，其特征在于：所述定時定量的規(guī)則的具體判定步驟如下：

步驟三二，在設(shè)備數(shù)據(jù)輸入到內(nèi)存隊(duì)列內(nèi)后，判斷隊(duì)列數(shù)量是否大于配置數(shù)，若不大于配置數(shù)，則直接結(jié)束，若大于配置數(shù)則進(jìn)行存儲后結(jié)束；同時定時器定時檢測內(nèi)存隊(duì)列內(nèi)是否有數(shù)據(jù)，若有數(shù)據(jù)則進(jìn)行存儲后結(jié)束，若沒有數(shù)據(jù)則直接結(jié)束。