[發明專利]基于HBase的海量交易數據檢索及系統

在審

• 申請號: 201410850869.5
• 申請日: 2014-12-31
• 公開（公告）號: CN105589910A
• 公開（公告）日: 2016-05-18
• 發明（設計）人: 邱澤銘;戚躍民;黃明雄;陳根;覃非
• 申請（專利權）人: 中國銀聯股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 杜娟娟;湯春龍

技術領域

本發明涉及檢索技術，更為具體地，涉及基于HBase的海量交易數據檢索技術。

背景技術

在銀行卡組織的日常運營中，會存在一些交易上的問題，需要以秒級的速度檢索出對應的交易報文信息，以便分析排查問題所在。

發明內容

有鑒于此，本發明提供基于HBase的海量交易數據檢索方法。該方法包括a.接收用戶通過查詢界面輸入的查詢請求；b.將所接收的查詢請求傳送給HBase主節點；c.所述HBase主節點根據查詢請求中的開始鍵與結束鍵所表征的范圍，將所述查詢請求發送到與該范圍對應的區域的區域服務器；d.由該服務器基于該查詢請求在所述交易數據中完成查詢。

所述的基于HBase的海量交易數據檢索方法，示例地，與所述區域的構建相關的行鍵按照預定格式設置，其中所述行鍵的兩個最高字節是表示交易日期的日期域，且所述交易日期是對世界標準時間UTC取31模后的值。

所述的基于HBase的海量交易數據檢索方法，示例地，所述行鍵中的條件域緊跟在表示小時的小時域之后，而所述小時域緊跟在所述日期域的后面。

所述的基于HBase的海量交易數據檢索方法，示例地，還包括建立次級索引表，用于記錄每筆交易報文的索引值與所述行鍵的映射關系，該映射關系是一一對應的關系，所述步驟d包括：d1.由該服務器基于該查詢請求在所述次級索引表中基于每筆交易報文的索引值與所述行鍵的映射關系獲得待查詢數據在所述區域中的行鍵；d2.基于該行鍵，在所述交易數據中完成查詢。

本發明還提供一種基于HBase的海量交易數據檢索系統，所述系統包括：查詢界面，用于用戶輸入查詢請求；接收模塊，其設置于HBase主節點，用于接收用戶輸入的查詢請求；區域確定模塊，其設置于所述HBase主節點，用于根據查詢請求中的開始鍵與結束鍵所表征的范圍，將所述查詢請求發送到與該范圍對應的區域的區域服務器；多個檢索模塊，分別設置在各區域服務器中，用于基于所述區域服務器所接收的查詢請求在交易數據中完成查詢。

基于HBase的海量交易數據檢索系統，示例地，所述系統還包括設置模塊，其用于將決定所述區域大小的行鍵按照預定格式設置，其中所述行鍵的兩個最高位是表示交易日期的日期域，且所述交易日期是對世界標準時間UTC取31模后的值，所述行鍵中的條件域緊跟在表示小時的小時域之后，而所述小時域緊跟在所述日期域的后面。

基于HBase的海量交易數據檢索系統，示例地，還包括索引表建立單元，其用于建立次級索引表，用于記錄每筆交易報文的索引值與所述行鍵的映射關系，該映射關系是一一對應的關系，所述多個檢索模塊設置成由該服務器基于該查詢請求在所述次級索引表中基于每筆交易報文的索引值與所述行鍵的映射關系獲得待查詢數據在所述區域中的行鍵，以及基于該行鍵，在所述交易數據中完成查詢。

附圖說明

圖1是根據本發明示例的基于HBase的海量交易數據檢索方法的流程圖。

圖2是根據本發明示例的HBase的集群環境示意圖。

圖3示出了文件、HBase次級索引表以及HBase報文日志表之間的關系。

圖4是根據本發明示例的基于HBase的海量交易數據檢索系統的結構示意圖。

具體實施方式

現在參照附圖描述本發明的示意性示例，相同的附圖標號表示相同的元件。下文描述的各實施例有助于本領域技術人員透徹理解本發明，且意在示例而非限制。除非另有限定，文中使用的術語（包括科學、技術和行業術語）具有與本發明所屬領域的技術人員普遍理解的含義相同的含義。

HBase全稱為HadoopDatabase，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價PCServer上搭建起大規模結構化存儲集群。HBase技術來源于FayChang所撰寫的Google論文“Bigtable：一個結構化數據的分布式存儲系統”。有關HBase的基本介紹可在許多資料上獲取，例如可參見http://baike.baidu.com/link?url=ZZH4mj7uoS2hd77AxZDszb0TW1cqt5u0_cmFOoraNCPjg1s-IPAaGxlDyDtca0pXbfDUfhPx45zxQBp1O_J54q上的介紹。