[發明專利]一種數據實時存儲方法和嵌入式實時數據存儲中間件

在審

• 申請號: 202210367988.X
• 申請日: 2022-04-08
• 公開（公告）號: CN114661242A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 韓大為;吳江棟;楊斌;李衛華;范利剛;周巍;袁行;曾洋洋
• 申請（專利權）人: 北京中電普華信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/54;G06F16/174;G06F16/9035
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 吳磊

本申請實施例公開了一種數據實時存儲方法和嵌入式實時數據存儲中間件，該方法包括：解析第一請求數據，根據解析后的第一請求數據獲取第一標簽信息，第一標簽信息包括第一標簽信息對應的定長快存桶信息、數據合法值特征；獲取定長快存桶信息對應的整桶數據；根據整桶數據和數據合法值特征過濾待存儲數據，得到過濾后的待存儲數據；將過濾后的待存儲數據進行存儲，并生成存儲結果；根據所述回調函數返回存儲結果。本申請實施例基于標簽管理數據采集點，在存儲數據方面通過快存技術，實現具有快速并發處理能力的嵌入式實時數據存儲中間件，為邊緣物聯代理裝置提供數據的實時存儲能力。

技術領域

本申請涉及數據存儲領域，更具體地說，涉及一種數據實時存儲方法和嵌入式實時數據存儲中間件。

背景技術

目前，在邊緣物聯代理裝置的數據存儲方面，現有方案是采用一致性哈希分片將待存儲數據進行劃分，并建立相應的索引。數據寫入時，更新索引；查詢數據時，通過數據存儲時建立的一致性哈希分片索引和索引信息，能夠準確、快速的定位到需要的結果。然而，采用一致性哈希分片的采集數據本地存儲方法，雖然解決了采集的數據先緩存于邊緣物聯代理裝置的問題，但現有技術中邊緣物聯代理裝置在處理單一高頻源數據采集和多數據源并發數據采集時，存在數據存儲不及時的問題。

發明內容

本申請的目的是提供一種數據實時存儲方法和嵌入式實時數據存儲中間件，通過實現一種嵌入式實時數據存儲中間件，該數據存儲中間件以標簽為數據點，基于快存與量存功能為邊緣物聯代理裝置提供數據的實時存儲能力。

為實現上述目的，本申請一種數據實時存儲方法，所述方法包括：

獲取接口調用的第一請求數據，并對所述第一請求數據進行協議解析，獲取解析后的請求指令、待存儲數據和回調函數；根據所述請求指令獲取第一標簽信息，所述第一標簽信息包括所述第一標簽信息對應的定長快存桶信息、數據合法值特征；獲取所述定長快存桶信息對應的整桶數據；根據所述整桶數據和所述數據合法值特征對所述待存儲數據進行數據過濾，得到過濾后的待存儲數據；將所述過濾后的待存儲數據進行存儲，并生成存儲結果；根據所述回調函數返回所述存儲結果。

可選地，在所述獲取接口調用的第一請求數據之前，所述方法還包括：

獲取用于編輯中間件配置信息的第二請求數據，并對所述第二請求數據進行協議解析，獲取解析后的第二請求指令；根據所述第二請求指令對所述中間件配置信息進行編輯；所述中間件配置信息包括：回調函數、標簽數、存儲塊大小、存儲段大小、狀態反饋頻率、日志記錄規則；返回用于編輯中間件配置信息的執行結果。

可選地，所述將過濾后的待存儲數據進行存儲，具體包括：

獲取快存管理單元中的參數信息，所述參數信息包括定長快存桶集存儲數據量大小信息、定長快存桶單桶當前數據量信息；根據所述快存管理單元中的參數信息將過濾后的待存儲數據存儲到所述快存管理單元的定長快存桶單桶中；判斷所述快存管理單元中定長快存桶單桶當前數據量是否達到定長快存桶單桶存儲數據量；若快存管理單元中第一標簽信息對應的定長快存桶單桶當前數據量達到定長快存桶單桶存儲數據量，將所述定長快存桶單桶的數據轉存至量存管理單元。

可選地，快存管理單元包括定長快存桶集模塊和變長快存池模塊，所述根據所述快存管理單元中的參數信息將過濾后的待存儲數據存儲到所述快存管理單元的定長快存桶單桶中，包括：

判斷所述過濾后的待存儲數據的數據類型，所述數據類型包括定長數據和變長數據；若所述過濾后的待存儲數據為定長數據，則將所述過濾后的待存儲數據的數據值存儲于定長快存桶集模塊；若所述過濾后的待存儲數據為變長數據，則將所述過濾后的待存儲數據的數據值存儲于變長快存池模塊，其中所述變長數據的數據值在所述變長快存池模塊中的地址以定長數據值的方式與數據屬性進行組合，存儲于定長快存桶集模塊。

可選地，所述將所述定長快存桶單桶的數據轉存至量存管理單元，包括：