[發(fā)明專(zhuān)利]一種高速公路海量交易數(shù)據(jù)檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710491785.0
• 申請(qǐng)日: 2017-06-26
• 公開(kāi)（公告）號(hào): CN109144995B
• 公開(kāi)（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 閆樹(shù)超;劉金龍;王金鑫;李建國(guó);許璐璐
• 申請(qǐng)（專(zhuān)利權(quán)）人: 遼寧艾特斯智能交通技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/22
• 分類(lèi)號(hào): G06F16/22;G06F16/245;G06F16/28
• 代理公司: 沈陽(yáng)晨創(chuàng)科技專(zhuān)利代理有限責(zé)任公司 21001
• 代理人: 任玉龍

1.一種高速公路海量交易數(shù)據(jù)檢索方法，其特征在于：所述的高速公路海量交易數(shù)據(jù)檢索方法，是基于Solr與HBase的高速公路海量交易數(shù)據(jù)檢索方法，HBase能實(shí)現(xiàn)高效的基于rowkey的查詢，在海量數(shù)據(jù)的背景下，仍然具有很好的效率和延展性；

采用二級(jí)索引技術(shù)，對(duì)常用查詢屬性建立二級(jí)索引，索引值為HBase的rowkey，二級(jí)索引技術(shù)采用Solr搜索引擎；當(dāng)查詢到來(lái)時(shí)，首先到Solr中查詢滿足對(duì)應(yīng)條件的rowkey結(jié)果集，然后再根據(jù)rowkey結(jié)果集，去HBase中查詢對(duì)應(yīng)的交易記錄；

使用到的技術(shù)有：java，hadoop，HBase，Solr，oracle，linux；本發(fā)明的實(shí)現(xiàn)均使用java語(yǔ)言；oracle有兩個(gè)職能，一個(gè)是生產(chǎn)系統(tǒng)用oracle存儲(chǔ)數(shù)據(jù)，另外，oracle還作為數(shù)據(jù)緩存處理的中間存儲(chǔ)；HBase作為基礎(chǔ)數(shù)據(jù)的存儲(chǔ)，通過(guò)rowkey查詢時(shí)具有很高的效率；HBase的二級(jí)索引采用Solr搜索引擎；通過(guò)高速公路海量交易數(shù)據(jù)檢索方法，能進(jìn)行基本的數(shù)據(jù)插入更新和高效的查找，所有節(jié)點(diǎn)使用的操作系統(tǒng)為linux；設(shè)計(jì)Solr索引的字段及格式，包括常用的查詢條件以及對(duì)應(yīng)的值類(lèi)型；然后再Solr中建立對(duì)應(yīng)的空的索引；設(shè)置HBase的預(yù)寫(xiě)日志功能WAL，為開(kāi)啟；當(dāng)數(shù)據(jù)寫(xiě)入HBase時(shí)，首先會(huì)寫(xiě)WAL即write ahead log；監(jiān)聽(tīng)程序indexer監(jiān)聽(tīng)WAL，每當(dāng)WAL更新時(shí)，監(jiān)聽(tīng)程序則讀取WAL中增量更新的內(nèi)容，根據(jù)讀取內(nèi)容更新Solr中的索引；

查詢時(shí)，首先根據(jù)查詢條件，形成Solr查詢語(yǔ)句，然后到Solr中查詢對(duì)應(yīng)索引，得到HBase表的rowkey結(jié)果集，然后根據(jù)rowkey結(jié)果集，到HBase中查詢對(duì)應(yīng)的記錄，并返回對(duì)應(yīng)結(jié)果；其特征在于：設(shè)計(jì)Solr索引的字段及格式，包括常用的查詢條件以及對(duì)應(yīng)的值得類(lèi)型；然后再Solr中建立對(duì)應(yīng)的空的索引；數(shù)據(jù)寫(xiě)入HBase之前，先存儲(chǔ)在oracle中，然后數(shù)據(jù)處理工具data handler輪詢oracle，將更新的數(shù)據(jù)寫(xiě)入到HBase中，寫(xiě)入之后，將oracle中HBase寫(xiě)入標(biāo)記位修改為已寫(xiě)入狀態(tài)；

索引建立工具indexer輪詢oracle，查詢新來(lái)到的數(shù)據(jù)，并在Solr中更新索引，索引建立后，查詢索引看是否成功，如果成功，則更新oracle中數(shù)據(jù)標(biāo)記位修改為已建立索引狀態(tài)；定期刪除oracle中標(biāo)記為已寫(xiě)入和已建立索引的數(shù)據(jù)；查詢時(shí)，首先根據(jù)查詢條件，形成Solr查詢語(yǔ)句，然后到Solr中查詢對(duì)應(yīng)索引，得到HBase表的rowkey結(jié)果集，然后根據(jù)rowkey結(jié)果集，到HBase中查詢對(duì)應(yīng)的記錄，并返回對(duì)應(yīng)結(jié)果；此種方式能保證數(shù)據(jù)的一致性，保證每條寫(xiě)入HBase的數(shù)據(jù)，都會(huì)在Solr中有對(duì)應(yīng)的索引；但是會(huì)降低HBase的寫(xiě)入性能；適合硬件好，對(duì)數(shù)據(jù)一致性要求高的場(chǎng)景。