[發(fā)明專利]海量大數(shù)據(jù)檢索方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910441720.4
• 申請日: 2019-05-24
• 公開（公告）號: CN110162528A
• 公開（公告）日: 2019-08-23
• 發(fā)明（設(shè)計）人: 陸夏根;楊子江;于俊鳳;李思思;徐蓓蓓;魏墨濟(jì);楊愛芹
• 申請（專利權(quán)）人: 安徽芃睿科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/182
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張慶騫

1.一種海量大數(shù)據(jù)檢索方法，其特征在于，包括：

在索引內(nèi)存緩存層的熱點(diǎn)索引表中查詢符合檢索條件的數(shù)據(jù)；所述熱點(diǎn)索引表中存在有訪問頻度不小于預(yù)設(shè)訪問頻度閾值的數(shù)據(jù)；

當(dāng)熱點(diǎn)索引表中存在符合檢索條件的數(shù)據(jù)時，則直接輸出查詢到的數(shù)據(jù)；

當(dāng)熱點(diǎn)索引表中不存在符合檢索條件的數(shù)據(jù)時，則轉(zhuǎn)到索引持久化存儲層繼續(xù)查詢符合檢索條件的數(shù)據(jù)，輸出查詢結(jié)果。

2.如權(quán)利要求1所述的一種海量大數(shù)據(jù)檢索方法，其特征在于，所述索引持久化存儲層中持久化存儲有HBase，所述HBase中存儲有多個非主鍵屬性索引表，每個非主鍵屬性索引表用來對應(yīng)存儲管理用戶表中的一個待查詢非主鍵屬性的索引；

或所述索引內(nèi)存緩存層為分布式內(nèi)存緩存，使用一致性哈希來確定數(shù)據(jù)所在的服務(wù)器節(jié)點(diǎn)；在節(jié)點(diǎn)發(fā)生變化時，只有和變化節(jié)點(diǎn)相鄰的節(jié)點(diǎn)數(shù)據(jù)需要遷移。

3.如權(quán)利要求1所述的一種海量大數(shù)據(jù)檢索方法，其特征在于，在索引內(nèi)存緩存層中執(zhí)行查詢請求時，內(nèi)存緩存的服務(wù)進(jìn)程對訪問到的每條索引數(shù)據(jù)記錄本周期內(nèi)的訪問次數(shù)，直到查詢請求次數(shù)達(dá)到預(yù)設(shè)訪問次數(shù)閾值，即到達(dá)熱度計算周期時，服務(wù)進(jìn)程觸發(fā)緩存的更新替換。

4.如權(quán)利要求3所述的一種海量大數(shù)據(jù)檢索方法，其特征在于，根據(jù)索引集合在相應(yīng)周期內(nèi)的被訪問次數(shù)計算所有記錄的熱度，根據(jù)熱度排序，將熱度排序位于前K位的集合記錄緩存到內(nèi)存中；其中，K為熱度門限值；根據(jù)緩存空間能夠容納的記錄條數(shù)限制計算出熱度門限K，高于熱度門限的集合被緩存到內(nèi)存中。

5.一種海量大數(shù)據(jù)檢索系統(tǒng)，其特征在于，包括：

第一查詢模塊，其用于在索引內(nèi)存緩存層的熱點(diǎn)索引表中查詢符合檢索條件的數(shù)據(jù)；所述熱點(diǎn)索引表中存在有訪問頻度不小于預(yù)設(shè)訪問頻度閾值的數(shù)據(jù)；

當(dāng)熱點(diǎn)索引表中存在符合檢索條件的數(shù)據(jù)時，則直接輸出查詢到的數(shù)據(jù)；

第二查詢模塊，其用于當(dāng)熱點(diǎn)索引表中不存在符合檢索條件的數(shù)據(jù)時，則轉(zhuǎn)到索引持久化存儲層繼續(xù)查詢符合檢索條件的數(shù)據(jù)，輸出查詢結(jié)果。

6.如權(quán)利要求5所述的一種海量大數(shù)據(jù)檢索系統(tǒng)，其特征在于，在所述第二查詢模塊中，所述索引持久化存儲層中持久化存儲有HBase，所述HBase中存儲有多個非主鍵屬性索引表，每個非主鍵屬性索引表用來對應(yīng)存儲管理用戶表中的一個待查詢非主鍵屬性的索引；

或在所述第二查詢模塊中，所述索引內(nèi)存緩存層為分布式內(nèi)存緩存，使用一致性哈希來確定數(shù)據(jù)所在的服務(wù)器節(jié)點(diǎn)；在節(jié)點(diǎn)發(fā)生變化時，只有和變化節(jié)點(diǎn)相鄰的節(jié)點(diǎn)數(shù)據(jù)需要遷移。

7.如權(quán)利要求5所述的一種海量大數(shù)據(jù)檢索系統(tǒng)，其特征在于，在所述第一查詢模塊中，在索引內(nèi)存緩存層中執(zhí)行查詢請求時，內(nèi)存緩存的服務(wù)進(jìn)程對訪問到的每條索引數(shù)據(jù)記錄本周期內(nèi)的訪問次數(shù)，直到查詢請求次數(shù)達(dá)到預(yù)設(shè)訪問次數(shù)閾值，即到達(dá)熱度計算周期時，服務(wù)進(jìn)程觸發(fā)緩存的更新替換。

8.如權(quán)利要求7所述的一種海量大數(shù)據(jù)檢索系統(tǒng)，其特征在于，在所述第一查詢模塊中，根據(jù)索引集合在相應(yīng)周期內(nèi)的被訪問次數(shù)計算所有記錄的熱度，根據(jù)熱度排序，將熱度排序位于前K位的集合記錄緩存到內(nèi)存中；其中，K為熱度門限值；根據(jù)緩存空間能夠容納的記錄條數(shù)限制計算出熱度門限K，高于熱度門限的集合被緩存到內(nèi)存中。

9.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1-4中任一項所述的海量大數(shù)據(jù)檢索方法中的步驟。

10.一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時實(shí)現(xiàn)如權(quán)利要求1-4中任一項所述的海量大數(shù)據(jù)檢索方法中的步驟。