[發明專利]一種無線電監測數據回放方法

有效

• 申請號: 201610246633.X
• 申請日: 2016-04-18
• 公開（公告）號: CN105893596B
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 馬高峰;黃劍琪;凌文杰;呂靈通;趙智航
• 申請（專利權）人: 華信咨詢設計研究院有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 尉偉敏;閻忠華

本發明公開了一種無線電監測數據回放方法，包括通用接口模塊、數據傳輸模塊、HBase數據庫、HDFS數據庫和歷史數據編排模塊和緩沖模塊；通用接口模塊、數據傳輸模塊、HBase數據庫和HDFS數據庫依次連接，HBase數據庫、緩沖模塊、數據傳輸模塊均與歷史數據編排模塊連接，本發明具有查詢速度快、查詢精度高，可對海量半結構化或者非結構化數據進行快速實時回放的特點。

技術領域

本發明涉及無線電歷史監測數據回放技術領域，尤其是涉及一種可對海量半結構化或者非結構化數據進行快速實時回放的無線電監測數據回放方法。

背景技術

無線電監測是大型運動會、國際會議等活動的安全保障和實時監督檢查的重要手段，無線電監測工作用于掌握頻率情況、保障無線電頻率，迅速查處有害干擾。

隨著監測設備的發展和監測需求的細化，無線電監測數據的數量呈爆炸式增長，通常一臺設備在幾個月內的監測數據可達到TB數據級，并且為非結構化或者半結構化監控記錄，運用傳統的存儲和處理方法已經無法滿足數據查詢的需要；其次，為了節省存儲空間，無線電監控數據通常采用字節流的形式進行存儲，而觀測人員需要在第一時間定位并顯示監測數據。

目前，無線電監測數據的歷史實時回放，通常有以下兩種方案：

采用分布式的Sqlite數據庫的形式對監測數據進行逐條存儲，每個分布式的Sqlite大小為2G。該方法適用于低頻采樣的數據設備，且存儲監測數據的歷史跨度很小，往往只有幾臺設備幾天的數據量。

采用文件系統映射的方法，歷史監測數據以文件的形式保存，文件的路徑保存于關系型數據庫并顯示給用戶，用戶通過文件逐條查詢記錄。觀測人員在查找數據時，需要逐條觀測數據，從而定位到需要的觀測點，需耗費大量的人力精力，觀測人員事先無法概覽整個觀測數據。

可見，目前無線電監測方法不能有效的對海量的半結構化或者非結構化的數據進行快速實時回放。

發明內容

本發明的發明目的是為了克服現有技術中的無線電監測方法對海量半結構化或者非結構化數據進行快速實時回放的不足，提供了一種可對海量半結構化或者非結構化數據進行快速實時回放的無線電監測數據回放方法。

為了實現上述目的，本發明采用以下技術方案：

一種無線電監測數據回放方法，包括通用接口模塊、數據傳輸模塊、HBase數據庫、HDFS數據庫和歷史數據編排模塊和緩沖模塊；通用接口模塊、數據傳輸模塊、HBase數據庫和HDFS數據庫依次連接，HBase數據庫、緩沖模塊、數據傳輸模塊均與歷史數據編排模塊連接，

所述回放方法包括數據編排過程、數據回放過程和回放停止過程；

數據編排過程包括如下步驟：歷史數據編排模塊將原始監測數據的每一條記錄解封后，讀取記錄的每個數據幀，根據每個數據幀的幀內信息生成rowkey索引，歷史數據編排模塊將每個數據幀、與每個數據幀關聯的rowkey索引批量導入HBase數據庫及HDFS數據庫中；HBase數據庫中設有若干個設備表。

本發明通過獨特設計的rowkey索引，將無線電監測數據逐條載入HBase數據庫中，并有效防止監測設備過快時在時間重復時記錄的重復，支持用戶逐記錄快速查詢；通過數據傳輸模塊的查詢條件與rowkey的對應，實現了用戶的任意、快速實時的定位并回放數據。

作為優選，所述數據回放過程包括如下步驟：

(2-1)歷史數據編排模塊將原始監測數據的每條記錄解封后，讀取與每條記錄對應的數據幀的幀頭，根據幀頭信息生成rowkey索引，歷史數據編排模塊通過API接口將每個數據幀、與每個數據幀關聯的rowkey索引批量導入HBase數據庫；HBase數據庫中設有若干個設備表；

(2-2)通用接口模塊接收用戶的查詢請求，并將查詢請求發送給數據傳輸模塊；