[發(fā)明專利]公安卡口海量車輛數(shù)據(jù)存儲(chǔ)與檢索方法及裝置、電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201710329068.8
• 申請(qǐng)日: 2017-05-11
• 公開（公告）號(hào): CN107169083B
• 公開（公告）日: 2020-03-31
• 發(fā)明（設(shè)計(jì)）人: 楊紅;張家鋒;曾明;李京
• 申請(qǐng)（專利權(quán)）人: 聚龍融創(chuàng)科技有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/24;G06F16/51
• 代理公司: 北京律智知識(shí)產(chǎn)權(quán)代理有限公司 11438
• 代理人: 袁禮君;姜怡

1.一種公安卡口海量車輛數(shù)據(jù)存儲(chǔ)與檢索方法，其特征在于，包括：

接收車輛數(shù)據(jù)，根據(jù)所述車輛數(shù)據(jù)生成對(duì)應(yīng)的索引信息、結(jié)構(gòu)化數(shù)據(jù)和圖像數(shù)據(jù)并分別分發(fā)至索引服務(wù)、數(shù)據(jù)存儲(chǔ)服務(wù)和圖像存儲(chǔ)服務(wù)；

分別通過(guò)所述索引服務(wù)、數(shù)據(jù)存儲(chǔ)服務(wù)和圖像存儲(chǔ)服務(wù)將所述索引信息、結(jié)構(gòu)化數(shù)據(jù)和圖像數(shù)據(jù)存儲(chǔ)至elasticsearch、hbase和內(nèi)存中；

當(dāng)所述內(nèi)存中存儲(chǔ)的圖像數(shù)據(jù)達(dá)到預(yù)設(shè)閾值時(shí)，生成hbase的hfile文件，將所述圖像數(shù)據(jù)寫入磁盤中；

利用hbase和elasticsearch實(shí)現(xiàn)所述車輛數(shù)據(jù)的檢索；

接收車輛數(shù)據(jù)，根據(jù)所述車輛數(shù)據(jù)生成對(duì)應(yīng)的索引信息、結(jié)構(gòu)化數(shù)據(jù)和圖像數(shù)據(jù)并分別分發(fā)至索引服務(wù)、數(shù)據(jù)存儲(chǔ)服務(wù)和圖像存儲(chǔ)服務(wù)包括：

采集終端采集的所述車輛數(shù)據(jù)通過(guò)kafka的接口進(jìn)行數(shù)據(jù)寫入時(shí)，利用kafka的partition的分區(qū)，將所述車輛數(shù)據(jù)分發(fā)到不同的kafka節(jié)點(diǎn)；

使用kafka的Consumer API分批次從kafka中讀取數(shù)據(jù)；

解析讀取到的kafka數(shù)據(jù)生成數(shù)據(jù)的key、索引信息、結(jié)構(gòu)化數(shù)據(jù)和圖像數(shù)據(jù)，并對(duì)所述車輛數(shù)據(jù)中的車牌進(jìn)行重新編碼。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)所述車輛數(shù)據(jù)中的車牌進(jìn)行重新編碼包括：

將所述車牌的前兩位從0-65535中進(jìn)行編碼；

將所述車牌的中間4位中的字母采用一字節(jié)的負(fù)數(shù)表示；

將所述車牌最后一位中的字母與漢字采用一字節(jié)的負(fù)數(shù)表示。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，分別通過(guò)所述索引服務(wù)、數(shù)據(jù)存儲(chǔ)服務(wù)和圖像存儲(chǔ)服務(wù)將所述索引信息、結(jié)構(gòu)化數(shù)據(jù)和圖像數(shù)據(jù)存儲(chǔ)至elasticsearch、hbase和內(nèi)存中包括：

對(duì)當(dāng)前批次中解析完成的所述索引信息、結(jié)構(gòu)化數(shù)據(jù)和圖像數(shù)據(jù)分別調(diào)用對(duì)應(yīng)的elasticsearch、hbase和圖像存儲(chǔ)服務(wù)對(duì)應(yīng)的RPC接口對(duì)數(shù)據(jù)進(jìn)行寫入；以及

記錄下當(dāng)前最后一條處理成功的數(shù)據(jù)的偏移量。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)所述內(nèi)存中存儲(chǔ)的圖像數(shù)據(jù)達(dá)到預(yù)設(shè)閾值時(shí)，生成hbase的hfile文件，將所述圖像數(shù)據(jù)寫入磁盤中包括：

當(dāng)所述圖像存儲(chǔ)服務(wù)接收到圖像數(shù)據(jù)添加的RPC請(qǐng)求時(shí)，把所述圖像數(shù)據(jù)寫入到日志文件中；

在日志文件寫入成功后，把所述圖像數(shù)據(jù)添加到雙隊(duì)列的主內(nèi)存塊中；

當(dāng)所述主內(nèi)存塊中存儲(chǔ)的數(shù)據(jù)達(dá)到所述預(yù)設(shè)閾值且雙隊(duì)列的備用內(nèi)存塊已經(jīng)完成flush動(dòng)作時(shí)，對(duì)所述主內(nèi)存塊和所述備用內(nèi)存塊進(jìn)行切換；

當(dāng)達(dá)到所述備用內(nèi)存塊的內(nèi)存限制大小時(shí)，生成flush磁盤的線程用于讀取所述備用內(nèi)存塊中的圖像數(shù)據(jù)并生成hfile文件，把hfile文件寫入到磁盤。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：把hfile文件寫入到磁盤時(shí)，將所述磁盤中的目錄分為兩個(gè)層級(jí)，第一級(jí)為當(dāng)前內(nèi)存塊的分區(qū)值，第二級(jí)為日期目錄。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用所述hbase和elasticsearch實(shí)現(xiàn)所述車輛數(shù)據(jù)的檢索包括：

當(dāng)接收到數(shù)據(jù)檢索請(qǐng)求時(shí)，開啟數(shù)據(jù)檢索服務(wù)用于監(jiān)聽(tīng)http/RPC請(qǐng)求；

當(dāng)接收到http/RPC請(qǐng)求后，所述數(shù)據(jù)檢索服務(wù)對(duì)其進(jìn)行解析生成索引檢索條件，向所述索引服務(wù)發(fā)起檢索請(qǐng)求并獲得響應(yīng)結(jié)果；

根據(jù)所述響應(yīng)結(jié)果對(duì)應(yīng)的數(shù)據(jù)的key，向hbase和所述圖像存儲(chǔ)服務(wù)中讀取key對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)和圖像數(shù)據(jù)；

對(duì)所述結(jié)構(gòu)化數(shù)據(jù)和所述圖像數(shù)據(jù)進(jìn)行合并并返回檢索結(jié)果。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：定時(shí)根據(jù)配置的數(shù)據(jù)熱度進(jìn)行所述圖像存儲(chǔ)服務(wù)中存儲(chǔ)的圖像數(shù)據(jù)的遷移和/或清理操作。