[發明專利]一種基于HBase的智能交通領域卡口數據存儲方法

在審

• 申請號: 201510745947.X
• 申請日: 2015-11-05
• 公開（公告）號: CN105426437A
• 公開（公告）日: 2016-03-23
• 發明（設計）人: 周海艦;巖濤;趙青;朱博
• 申請（專利權）人: 西安翔迅科技有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 西安智邦專利商標代理有限公司 61211
• 代理人: 張倩

技術領域

本發明屬于智能交通領域，具體涉及一種基于HBase的智能交通領域卡口數據存儲方法。

背景技術

隨著交通工具的大力普及與各種交通設施的巨增，交通系統所面臨的數據壓力也成幾何倍數的增長。面對如此海量的數據壓力，Hadoop作為大數據處理領域的首選技術框架，在企業中得到了大量的應用。而其中的HBase以高性能高吞吐量的特性成為了大數據存儲的首選技術目標。那么如何有效地利用HBase的特性，充分發揮其集群性能，實現數據的高效檢索。HBase是將數據按照表、行和列進行存儲，其數據類型只有字符串，而要想訪問其中的數據，只有單個Rowkey訪問、通過Rowkey的Range訪問、通過全表掃描Rowkey這3種方式，它不支持條件查詢和Orderby等查詢。

同時，由于HBase是分布式數據庫，采用LSM設計解決了磁盤隨機寫的問題(即使用了順序寫盤的方式)。在高并發的數據寫入時會按照Rowkey分配相應的Region，若Rowkey本身存在時間或其他的順序則會出現單臺機器繁忙而其他服務器相對空閑的情況，從而影響集群整體性能。因此，對于Rowkey還需要進行散列化設計，以避免熱點現象。

發明內容

為了解決目前智能交通行業海量卡口數據的高性能并發讀寫要求，本發明提供一種基于HBase的智能交通領域卡口數據存儲方法。此方法結合HBase自身的特點，融合卡口數據的讀寫場景，對表進行定制化Rowkey設計，以便于相關業務的快速高效查詢，使得查詢結果能全局按時間倒序排列，為數據的進一步統計分析及研判奠定良好的基礎。

本發明的技術解決方案：

一種基于HBase的智能交通領域卡口數據存儲方法，其特殊之處在于：包括以下步驟：

1】建立主表：

根據業務需要，將卡口數據的主要字段按一定順序組合成主表Rowkey，并按照主表Rowkey的編碼順序存儲；列族中的特定列存儲為所有字段組合成的JSON格式串；

2】建立二次索引表：

將主表中查詢性能低的字段或不支持查詢的字段組合成索引Rowkey，并按照索引Rowkey的編碼順序存儲，同時在索引Rowkey前加哈希散列，列族中的列存儲為主表Rowkey。

上述卡口數據包括設備編號、方向編碼、車道號、號牌號碼、號牌顏色、號牌種類、車輛速度、經過時間、車身顏色、車輛分類、車輛類型、車輛品牌和過車圖片地址，

在主表Rowkey中將號牌號碼和設備編號前置。

上述二次索引表的索引Rowkey中包括號牌顏色。

本發明所具有的優點：

1、本發明能夠有效的提高海量數據訪問和查詢性能，并能夠良好的圍繞號牌號碼而展開的相關數據挖掘提供高性能保障，如套牌分析、區域碰撞、車輛頻度、落腳點分析等數據研判功能。同時能夠較分散的插入數據，顯著提高HBase的Region的并行性能，支持Rowkey級別的設備編號查詢、支持時間段、號牌顏色的快速查詢；查詢結果自動以時間倒序排列，滿足查看最近記錄的要求；能夠良好的支持按時間段獲取卡口數據，為卡口數據的快速統計分析建立良好的基礎。

2、應用本發明的存儲方法在業務展示卡口列表時只需要獲取Rowkey即可，在節省網絡數據傳輸量和提高速度的同時，極大的提升了系統性能；

3、通過測試發現，實驗室5臺服務器搭建的集群下，利用此設計方式存儲的10億數據，精確查詢平均響應時間160毫秒，多條件模糊查詢平均響應時間300毫秒。在55億數據的環境下，精確查詢平均響應時間162毫秒，多條件模糊查詢平均響應時間1028毫秒。

附圖說明

圖1為本發明主表Rowkey設計示意圖；

圖2為本發明索引表Rowkey設計示意圖；

圖3為本發明主表數據邏輯示意圖；

圖4為本發明索引表數據邏輯示意圖。

具體實施方式

在智能交通領域，面對海量的卡口數據，將HBase里的卡口表分為主表和二次索引表。

主表存儲卡口數據，主要包括設備編號、方向編碼、車道號、號牌號碼、號牌顏色、號牌種類、車輛速度、經過時間、車身顏色、車輛分類、車輛類型、車輛品牌和過車圖片地址等數據。為了支持號牌號碼的快速高效查詢，以及眾多的數據研判業務的需要，在主表的Rowkey設計上需要將號牌號碼和設備編號前置，Rowkey后面的信息則以具體的業務來判斷，原則上將需要進行相關查詢的字段都應該加上。