[發明專利]公安卡口海量車輛數據存儲與檢索方法及裝置、電子設備

有效

• 申請號: 201710329068.8
• 申請日: 2017-05-11
• 公開（公告）號: CN107169083B
• 公開（公告）日: 2020-03-31
• 發明（設計）人: 楊紅;張家鋒;曾明;李京
• 申請（專利權）人: 聚龍融創科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/24;G06F16/51
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 袁禮君;姜怡

本公開提供了一種公安卡口海量車輛數據存儲與檢索方法及裝置、電子設備。該公安卡口海量車輛數據存儲與檢索方法包括：接收車輛數據，根據所述車輛數據生成對應的索引信息、結構化數據和圖像數據并分別分發至索引服務、數據存儲服務和圖像存儲服務；分別通過所述索引服務、數據存儲服務和圖像存儲服務將所述索引信息、結構化數據和圖像數據存儲至elasticsearch、hbase和內存中；當所述內存中存儲的圖像數據達到預設閾值時，生成hbase的hfile文件，將所述圖像數據寫入磁盤中；利用hbase和elasticsearch實現所述車輛數據的檢索。本發明能夠實現數據的快速存儲、檢索與圖像數據的隨機存取。

技術領域

本發明涉及數據處理技術領域，具體而言，涉及一種公安卡口海量車輛數據存儲與檢索方法及裝置、電子設備。

背景技術

公安卡口中車輛數據具有如下的典型特點：

1、車輛數據中包含結構化數據與圖像數據兩個部分。

2、數據檢索維度多，要求在3秒內響應查詢結果。

3、數據寫入時間段比較集中。數據寫入的吞吐時間段主要集中在早、中、晚高峰時段。

4、車輛原始圖像存儲需要支持快速的隨機讀取操作。需要在查詢得到結構化數據時，同時顯示出圖像數據。

5、不同類型數據的存儲時長不同。一般地，結構化數據要求長期保持；而圖像數據要求保存1-3個月，并希望能夠支持自動回滾。

6、數據量大。

通常地，地級市每天的數據量大約為200-800萬左右；二線城市每天的數據量大約為1000-1500萬左右；一線城市每天的數據量通常在3000萬以上。

目前在公安卡口車輛數據存儲的建設中常用的技術主要是通過ftp/集中存儲+關系數據庫或者通過hadoop+hbase等NoSQL(Not Only SQL，非關系型數據庫)方案來進行存儲。雖然通過集中存儲的方案車輛數據寫入的能力能夠滿足，但無法滿足對圖像數據的隨機讀取的需要。而hadoop存儲小文件本身是一個缺陷。

因此需要一種新的公安卡口海量車輛數據存儲與檢索方法及裝置、電子設備。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本發明的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本發明的目的在于提供一種公安卡口海量車輛數據存儲與檢索方法及裝置、電子設備，進而至少在一定程度上克服由于相關技術的限制和缺陷而導致的一個或者多個問題。

本發明的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本發明的實踐而習得。

根據本公開的一個方面，提供一種公安卡口海量車輛數據存儲與檢索方法，包括：接收車輛數據，根據所述車輛數據生成對應的索引信息、結構化數據和圖像數據并分別分發至索引服務、數據存儲服務和圖像存儲服務；分別通過所述索引服務、數據存儲服務和圖像存儲服務將所述索引信息、結構化數據和圖像數據存儲至elasticsearch、hbase和內存中；當所述內存中存儲的圖像數據達到預設閾值時，生成hbase的hfile文件，將所述圖像數據寫入磁盤中；利用hbase和elasticsearch實現所述車輛數據的檢索。