[發明專利]一種面向傳感器流數據的數據重放系統和方法

在審

• 申請號: 202210365980.X
• 申請日: 2022-04-08
• 公開（公告）號: CN114691757A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 葉楓;杜澤銀;劉煒;蘭林;傅曉
• 申請（專利權）人: 河海大學
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/2455
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

本發明公開一種面向傳感器流數據的數據重放系統和方法，系統包括：自下向上依次排布歷史數據存儲層、數據庫連接層、數據重放執行層和重放數據展示層。數據重放方法包括：（1）安裝配置時間序列數據庫Apache IoTDB；（2）使用數據庫連接池和線程池對數據庫進行連接和獲取重放數據；（3）構建并發緩沖池，實現對歷史數據的重放；（4）將數據展示界面和并發緩沖池模塊整合，實現一個數據重放Web系統，用戶可通過系統頁面選擇要進行重放的數據和設置具體的參數，實現流暢靈活的數據重放效果。

技術領域

本發明涉及一種面向傳感器流數據的數據重放系統和方法，尤其是一種面向水文、水質傳感器流數據的數據重放系統及其構建方法，屬于軟件開發與傳感器數據處理技術領域。

背景技術

隨著物聯網、大數據技術的發展，傳感器被越來越多地應用在社會生活的方方面面，各種傳感器采集的數據所包含的信息也越來越多。由于傳感器采集的數據大多為帶有時間戳的實時數據，因此其數據量是巨大的，海量的數據增加了對其進行實時分析的難度。為了解決實時數據分析在面對海量傳感器數據時的不足，可以將數據重放技術應用于此。數據重放是指將歷史數據以流的形式向頂部應用程序輸送的一個過程，它被廣泛應用在許多在線關鍵任務系統的性能測試或事后審查中，包括股票證券系統和推薦系統等。在這樣的場景中，需要由重放服務按給定條件去查詢大規模歷史數據的某些部分，然后按照指定的重放順序(例如按時間戳排序)進行處理。數據重放可以將存儲在數據庫或文件中的符合查詢條件的數據取出，在向客戶端傳送數據的同時以流的形式對重放數據進行分析計算，從而實現對某些情況下無法實時計算分析的彌補，因此它對解決傳感器流數據的分析有著很大意義。

對傳感器采集的時間序列流數據進行重放，能有效解決對時間序列數據進行實時分析的不足之處，使得再現流數據生成時的場景成為可能。現有的數據重放工作多為針對金融證券、用戶實時推薦等業務所進行的研究，這些工作并未涉及到傳感器所采集的時間序列流數據，也就無法應用在依靠傳感器進行數據采集的工業、水利、醫療等行業中。由于現有研究的不足，加上傳感器流數據特有的時間特性和結構特性，對其進行流暢穩定的重放還具有一定的挑戰。

發明內容

發明目的：針對現有技術中存在的問題與不足，本發明提供一種面向傳感器流數據的數據重放系統和方法，用于對傳感器采集的歷史時間序列數據進行流暢準確的重放，便于對傳感器采集的歷史時間序列數據的分析

技術方案：一種面向傳感器流數據的數據重放系統，包括自下向上依次排布歷史數據存儲層、數據庫連接層、數據重放執行層和重放數據展示層。

所述歷史數據存儲層使用時間序列數據庫Apache IoTDB存儲傳感器采集的帶有時間戳的歷史流數據。時間序列數據庫Apache IoTDB中根據采集站點的不同，數據被分為多個時間序列；IoTDB存儲的每個數據均由時間戳和該時間對應的采集數值組成，反映了隨時間變化的傳感器數值。

所述數據庫連接層通過使用數據庫連接池來提高重放系統的并發性，數據庫連接池技術作為現有的成熟技術，可負責分配、管理和釋放數據庫連接，它允許應用程序重復使用一個現有的數據庫連接，而不是再重新建立一個，這項技術能明顯提高對數據庫進行操作的性能。數據庫連接層通過數據庫連接池的使用實現與歷史數據存儲層的高效連接，并將查詢數據庫的SQL語句進行封裝，封裝為一個Java類；另外通過編碼實現一個線程池來進一步提高并發性能，線程池的使用使得多個線程同時向緩沖池中填充數據成為可能，使得多個重放請求能夠并發執行，實現了不同重放請求所需的不同數據的并發填充。