[發明專利]一種基于HBase的卡口數據處理方法

在審

• 申請號: 201410284598.1
• 申請日: 2014-06-23
• 公開（公告）號: CN104050271A
• 公開（公告）日: 2014-09-17
• 發明（設計）人: 周海波;鄭兆妙;蔡懿博
• 申請（專利權）人: 桂林長海科技有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 楊立

技術領域

本發明涉及計算機領域，特別涉及一種基于HBase的卡口數據處理方法。

背景技術

最近幾年隨著公安加大卡口系統(設置在交通要道等有防守和檢查設施的出入口的監控系統)的建設，針對卡口系統的大范圍聯網和綜合應用變的越來越重要。車輛通過卡口點位時系統需要提取并記錄卡點信息、通過時間、車牌、車速、車牌顏色等詳細信息。在傳統的關系型數據庫中，通常以車輛通行記錄編號(唯一標識卡口點位的車輛經過記錄)為主鍵、以車輛通行記錄的各個屬性為列，創建車輛通行記錄信息表。但是隨著卡口系統建設的數量的增加，卡口車輛信息的數據量也快速增長，已經達到了數十億條記錄的級別，傳統的關系型數據庫已經無法滿足系統的需求，必須采用新的技術手段來進行海量數據的快速處理。

發明內容

本發明所要解決的技術問題是提供一種快速訪問數據，提升數據處理效率，解決海量數據處理難題的基于HBase的卡口數據處理方法。

本發明解決上述技術問題的技術方案如下：一種基于HBase的卡口數據處理方法，包括以下步驟：

步驟1：獲取待存儲的數據記錄；

步驟2：判斷數據量大小，如果是少量臨時性數據(數據記錄小于一億條的數據)，則執行步驟3；如果是海量數據(數據記錄大于或等于一億條的數據)，則執行步驟4；

步驟3：將少量臨時性數據通過關系數據庫SQL?server進行存儲；

步驟4：判斷海量數據的結構狀態，如果為結構化數據(即行數據,存儲在數據庫里,可以用二維表結構來邏輯表達實現的數據)，通過分布式數據庫Hbase進行存儲；如果為非結構化數據(不方便用數據庫二維邏輯表來表現的數據)，通過文件系統HDFS(Hadoop?Distributed?File?System，是一個分布式文件系統，HDFS有著高容錯性的特點，并且設計用來部署在低廉的硬件上)進行存儲。

本發明的有益效果是：通過對卡口數據的分類處理，提升了卡口的數據處理效率，解決了目前卡口系統中海量數據處理的難題。

在上述技術方案的基礎上，本發明還可以做如下改進。

進一步技術方案，所述分布式數據庫HBase(Hadoop?Database，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價PC?Server上搭建起大規模結構化存儲集群)表結構的Row?Key(Row?key是分布式數據庫HBase一系列二維數組的集合結構中的主鍵)采用36進制編碼，36進制的1到4位表示相機對應的組織機構編號，36進制5到6位表示相機所在組織機構中對應卡點編號，36進制的第7位表示相機所在卡點中對應鏡頭編號，36進制的8到10位表示卡口車輛通行日期，36進制的11到14位表示卡口車輛通行時間,36進制的15到22位表示卡口車輛車牌號碼，36進制的23到24位表示卡口車輛的速度、36進制的第25位表示車牌種類、36進制的第26位表示車牌號顏色，36進制的第27位表示車身顏色，36進制的28到29位表示汽車標志、36進制的第30位表示加密標識信息。

采用上述進一步方案的有益效果是：方便數據查找，可以使得新寫入的數據在查找的時候被快速找到。

所述分布式數據庫HBase表結構的Row?Key同時存儲到多個Region?server(域服務器)。

采用上述進一步方案的有益效果是：通過多個Region?server來分散多用戶請求的壓力。

所述通行日期和時間使用逆序的時間戳(一個字符序列，唯一的標識某一刻的時間)進行二進制存儲。

采用上述進一步方案的有益效果是：每個卡口點相機抓拍數據中最新的數據存儲在最前面，最新的數據的應用價值最大，也是大部分用戶比較感興趣的數據，通過這種方式可以大大加快了訪問數據的速度。

附圖說明

圖1為本發明一種基于HBase的卡口數據處理方法的流程圖。

具體實施方式

以下結合附圖對本發明的原理和特征進行描述，所舉實例只用于解釋本發明，并非用于限定本發明的范圍。

如圖1所示，一種基于HBase的卡口數據處理方法，包括以下步驟：

步驟1：獲取待存儲的數據記錄；

步驟2：判斷數據量大小，如果是少量臨時性數據,則執行步驟3；如果是海量數據，則執行步驟4；

步驟3：將少量臨時性數據通過關系數據庫SQL?server進行存儲；