[發(fā)明專(zhuān)利]基于Redis和HBase的數(shù)據(jù)查詢(xún)方法及相關(guān)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010911126.X
• 申請(qǐng)日: 2020-09-02
• 公開(kāi)（公告）號(hào): CN112035427B
• 公開(kāi)（公告）日: 2023-03-28
• 發(fā)明（設(shè)計(jì)）人: 肖舒濤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)平安財(cái)產(chǎn)保險(xiǎn)股份有限公司
• 主分類(lèi)號(hào): G06F16/182
• 分類(lèi)號(hào): G06F16/182;G06F16/14;G06F16/2457;G06F16/2455;G06F16/2453
• 代理公司: 深圳市明日今典知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44343
• 代理人: 王杰輝;曹勇

本申請(qǐng)涉及大數(shù)據(jù)技術(shù)領(lǐng)域，揭示了一種基于Redis和HBase的數(shù)據(jù)查詢(xún)方法及相關(guān)設(shè)備，其中方法包括：通過(guò)Redis根據(jù)查詢(xún)條件進(jìn)行索引查詢(xún)得到第一目標(biāo)行鍵，根據(jù)請(qǐng)求標(biāo)識(shí)將第一目標(biāo)行鍵發(fā)送給客戶(hù)端，第一目標(biāo)行鍵包括HBase的非主鍵信息；通過(guò)HBase接收客戶(hù)端發(fā)送的目標(biāo)查詢(xún)行鍵將目標(biāo)查詢(xún)行鍵發(fā)送給Zookeeper，目標(biāo)查詢(xún)行鍵是根據(jù)第一目標(biāo)行鍵確定的；通過(guò)Zookeeper根據(jù)目標(biāo)查詢(xún)行鍵確定目標(biāo)數(shù)據(jù)位置，將目標(biāo)數(shù)據(jù)位置發(fā)送給HBase；通過(guò)HDFS根據(jù)目標(biāo)數(shù)據(jù)位置進(jìn)行數(shù)據(jù)查詢(xún)，得到與目標(biāo)查詢(xún)行鍵對(duì)應(yīng)的目標(biāo)數(shù)據(jù)，將目標(biāo)數(shù)據(jù)發(fā)送給客戶(hù)端。從而滿(mǎn)足了大批量數(shù)據(jù)的實(shí)時(shí)高并發(fā)查詢(xún)需求。

技術(shù)領(lǐng)域

本申請(qǐng)涉及到大數(shù)據(jù)領(lǐng)域，特別是涉及到一種基于Redis和HBase的數(shù)據(jù)查詢(xún)方法及相關(guān)設(shè)備。

背景技術(shù)

隨著技術(shù)的發(fā)展，越來(lái)越多的億級(jí)別及以上的業(yè)務(wù)數(shù)據(jù)得到應(yīng)用，而對(duì)數(shù)據(jù)的及時(shí)查詢(xún)更能體現(xiàn)數(shù)據(jù)的應(yīng)用價(jià)值。但是傳統(tǒng)的數(shù)據(jù)庫(kù)和處理技術(shù)難以滿(mǎn)足億級(jí)別及以上的業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)高并發(fā)的查詢(xún)需求。

發(fā)明內(nèi)容

本申請(qǐng)的主要目的為提供一種基于Redis和HBase的數(shù)據(jù)查詢(xún)方法及相關(guān)設(shè)備，旨在解決傳統(tǒng)的數(shù)據(jù)庫(kù)和處理技術(shù)難以滿(mǎn)足億級(jí)別及以上的業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)高并發(fā)的查詢(xún)需求的技術(shù)問(wèn)題。

為了實(shí)現(xiàn)上述發(fā)明目的，本申請(qǐng)?zhí)岢鲆环N基于Redis和HBase的數(shù)據(jù)查詢(xún)方法，所述方法包括：

通過(guò)Redis獲取客戶(hù)端發(fā)送的查詢(xún)請(qǐng)求，所述查詢(xún)請(qǐng)求中攜帶查詢(xún)條件、請(qǐng)求標(biāo)識(shí)；

當(dāng)所述查詢(xún)條件是單個(gè)條件時(shí)，通過(guò)所述Redis根據(jù)所述查詢(xún)條件進(jìn)行索引查詢(xún)，得到第一目標(biāo)行鍵，根據(jù)所述請(qǐng)求標(biāo)識(shí)，將所述第一目標(biāo)行鍵發(fā)送給所述客戶(hù)端，所述第一目標(biāo)行鍵包括HBase的非主鍵信息；

通過(guò)所述HBase接收所述客戶(hù)端發(fā)送的目標(biāo)查詢(xún)行鍵，將所述目標(biāo)查詢(xún)行鍵發(fā)送給Zookeeper，所述目標(biāo)查詢(xún)行鍵是根據(jù)所述第一目標(biāo)行鍵確定的；

通過(guò)所述Zookeeper根據(jù)所述目標(biāo)查詢(xún)行鍵，確定目標(biāo)數(shù)據(jù)位置，將所述目標(biāo)數(shù)據(jù)位置發(fā)送給所述HBase；

通過(guò)HDFS根據(jù)所述目標(biāo)數(shù)據(jù)位置進(jìn)行數(shù)據(jù)查詢(xún)，得到與所述目標(biāo)查詢(xún)行鍵對(duì)應(yīng)的目標(biāo)數(shù)據(jù)，將所述目標(biāo)數(shù)據(jù)發(fā)送給所述客戶(hù)端。

進(jìn)一步的，所述通過(guò)所述Redis根據(jù)所述查詢(xún)條件進(jìn)行索引查詢(xún)，得到第一目標(biāo)行鍵，根據(jù)所述請(qǐng)求標(biāo)識(shí)，將所述第一目標(biāo)行鍵發(fā)送給所述客戶(hù)端的步驟，包括：

通過(guò)所述Redis根據(jù)所述查詢(xún)條件，在所述Redis的熱數(shù)據(jù)集群中進(jìn)行查找，得到查找結(jié)果；

當(dāng)所述查找結(jié)果為成功時(shí)，通過(guò)所述熱數(shù)據(jù)集群將查找到的數(shù)據(jù)作為所述第一目標(biāo)行鍵，根據(jù)所述請(qǐng)求標(biāo)識(shí)，將所述第一目標(biāo)行鍵發(fā)送給所述客戶(hù)端；

當(dāng)所述查找結(jié)果為失敗時(shí)，通過(guò)所述熱數(shù)據(jù)集群發(fā)送熱數(shù)據(jù)查詢(xún)失敗信號(hào)給所述Redis，通過(guò)所述Redis根據(jù)所述查詢(xún)條件，在所述Redis的索引集群中進(jìn)行查找，通過(guò)所述索引集群將查找到的數(shù)據(jù)作為所述第一目標(biāo)行鍵，根據(jù)所述請(qǐng)求標(biāo)識(shí)，將所述第一目標(biāo)行鍵發(fā)送給所述客戶(hù)端。

進(jìn)一步的，所述通過(guò)所述Redis根據(jù)所述查詢(xún)條件進(jìn)行索引查詢(xún)，得到第一目標(biāo)行鍵，根據(jù)所述請(qǐng)求標(biāo)識(shí)，將所述第一目標(biāo)行鍵發(fā)送給所述客戶(hù)端的步驟，還包括：

通過(guò)所述Redis根據(jù)所述查詢(xún)條件，向所述Redis的熱數(shù)據(jù)集群和所述Redis的索引集群發(fā)送查詢(xún)信號(hào)；

通過(guò)所述Redis的熱數(shù)據(jù)集群根據(jù)所述查詢(xún)信號(hào)進(jìn)行查詢(xún)，將查詢(xún)到的數(shù)據(jù)作為所述第一目標(biāo)行鍵，根據(jù)所述請(qǐng)求標(biāo)識(shí)，將所述第一目標(biāo)行鍵發(fā)送給所述客戶(hù)端；

通過(guò)所述Redis的索引集群根據(jù)所述查詢(xún)信號(hào)進(jìn)行查詢(xún)，將查詢(xún)到的數(shù)據(jù)作為所述第一目標(biāo)行鍵，根據(jù)所述請(qǐng)求標(biāo)識(shí)，將所述第一目標(biāo)行鍵發(fā)送給所述客戶(hù)端。