[發明專利]一種面向海量監控數據的檢索分析系統

在審

• 申請號: 201611168189.0
• 申請日: 2016-12-16
• 公開（公告）號: CN108205528A
• 公開（公告）日: 2018-06-26
• 發明（設計）人: 施黃駿;劉超
• 申請（專利權）人: 上海儀電（集團）有限公司中央研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 趙繼明

本發明涉及一種面向海量監控數據的檢索分析系統，包括：云存儲模塊，保存監控原始數據，監控原始數據帶有時間和地理位置信息；計算服務模塊，包括時空檢索子模塊、大數據計算子模塊和匿名計算集群子模塊，時空檢索子模塊通過對監控原始數據進行時空檢索，得到符合時空條件的數據，大數據計算子模塊對符合時空條件的數據進行信息篩選，匿名計算集群子模塊對篩選后的數據進行自定義計算，自定義計算在數據請求中定義，各子模塊分別將自身產生的數據發送給云存儲模塊；分布式任務部署及監控模塊，接收數據請求、生成任務并發送給計算服務模塊、監控任務進度。與現有技術相比，本發明具有存儲容量大、檢索速度快等優點。

技術領域

本發明涉及一種數據處理系統，尤其是涉及一種面向海量監控數據的檢索分析系統。

背景技術

視頻監控是安全防范系統的重要組成部分，傳統的監控系統包括前端攝像機、傳輸線纜、視頻監控平臺。視頻監控以其直觀、準確、及時和信息內容豐富而廣泛應用于許多場合。近年來，隨著計算機、網絡以及圖像處理、傳輸技術的飛速發展，視頻監控技術也有了長足的發展，因此產生的海量監控數據面臨本地存儲空間有限、異地檢索分析效率低的問題。

海量監控數據具有如下特點：

1)監控文件數量大，文件大小各不相同；

2)監控文件會額外包含地理位置及時間信息；

3)監控文件種類繁多，通常來自于攝像頭、城市傳感器等，用于監控道路狀態、人流密度、人群移動、安全防護、訪問控制、環境狀況等，解析方式各有不同，并且通常為非結構化數據。

因此，需要一種能夠實現海量監控數據高效檢索分析的系統，將海量監控數據統一管理，以提供高效的檢索服務。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種高效的面向海量監控數據的檢索分析系統。

本發明的目的可以通過以下技術方案來實現：

一種面向海量監控數據的檢索分析系統，包括：

云存儲模塊，保存監控原始數據，所述的監控原始數據帶有時間和地理位置信息；

計算服務模塊，包括時空檢索子模塊、大數據計算子模塊和匿名計算集群子模塊，所述的時空檢索子模塊通過對監控原始數據進行時空檢索，得到符合時空條件的數據，所述的大數據計算子模塊或匿名計算集群子模塊對符合時空條件的數據進行信息篩選，匿名計算集群子模塊對篩選后的數據進行自定義計算，所述的自定義計算在數據請求中定義，各子模塊分別將自身產生的數據發送給云存儲模塊；

分布式任務部署及監控模塊，接收數據請求、生成任務并發送給計算服務模塊、監控任務進度。

所述的時空檢索子模塊根據監控原始數據的時間和地理位置信息進行過濾，得到滿足時空條件的監控原始數據。

所述的大數據計算子模塊采用Spark集群或Hadoop集群對數據進行過濾。

所述的分布式任務部署及監控模塊具有第三方服務接口。

系統中進程間的通訊通過分布式消息總線進行。

所述的系統還包括分布式應用程序協調器，為系統中各模塊和子模塊提供一致性服務。

所述的自定義計算在Docker容器中進行。

與現有技術相比，本發明具有以下優點：

(1)通過云存儲模塊存儲帶有時空索引信息的監控數據，存儲容量大；數據檢索、計算等任務分發給計算服務模塊，計算服務模塊中的子模塊進行任務分工，檢索速度快，可實現復雜多條件的數據檢索及處理。