[發(fā)明專利]實現(xiàn)數(shù)據(jù)查詢的方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410183883.4
• 申請日: 2014-04-30
• 公開（公告）號: CN105022763B
• 公開（公告）日: 2019-03-26
• 發(fā)明（設(shè)計）人: 鄭壯杰
• 申請（專利權(quán)）人: 深圳市東方博雅科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 何平

1.一種實現(xiàn)數(shù)據(jù)查詢的方法，包括如下步驟：

獲取查詢請求；

轉(zhuǎn)換所述查詢請求為MapReduce任務(wù)；

獲取元數(shù)據(jù)，根據(jù)所述元數(shù)據(jù)得到與所述MapReduce任務(wù)相關(guān)的基于Hive的數(shù)據(jù)文件分區(qū)；

根據(jù)定義的數(shù)據(jù)存儲結(jié)構(gòu)對所述MapReduce任務(wù)中的查詢字段進(jìn)行計算以得到相應(yīng)的信息摘要值，并通過所述信息摘要值和預(yù)設(shè)的桶數(shù)量之間的取模得到與所述查詢字段對應(yīng)的數(shù)據(jù)存儲位置，所述數(shù)據(jù)存儲位置用于指示所述查詢字段對應(yīng)的桶和所述桶中的列；

讀取所述定位得到的桶中的列所對應(yīng)的數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述讀取所述定位得到的桶中的列所對應(yīng)的數(shù)據(jù)的步驟包括：

根據(jù)所述查詢字段對應(yīng)的桶中的列進(jìn)行數(shù)據(jù)加載，并對所述加載的數(shù)據(jù)進(jìn)行處理。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述轉(zhuǎn)換所述查詢請求為MapReduce任務(wù)的步驟之前，所述方法還包括：

接收輸入的原始數(shù)據(jù)，并將所述原始數(shù)據(jù)存儲為第一數(shù)據(jù)表結(jié)構(gòu)；

對所述存儲為第一數(shù)據(jù)表結(jié)構(gòu)的原始數(shù)據(jù)進(jìn)行優(yōu)化處理，以將優(yōu)化處理所得到的數(shù)據(jù)存入配置文件所配置的基于Hive的數(shù)據(jù)文件分區(qū)中。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述接收輸入的原始數(shù)據(jù)，并將所述原始數(shù)據(jù)存儲為第一數(shù)據(jù)表結(jié)構(gòu)的步驟包括：

通過配置文件配置將所述原始數(shù)據(jù)存入包含分區(qū)信息的數(shù)據(jù)文件中，其中，被存入所述數(shù)據(jù)文件的原始數(shù)據(jù)以JSON格式存儲。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對所述存儲為第一數(shù)據(jù)表結(jié)構(gòu)的原始數(shù)據(jù)進(jìn)行優(yōu)化處理，以將優(yōu)化處理所得到的數(shù)據(jù)存入配置文件所配置的基于Hive的數(shù)據(jù)文件分區(qū)中的步驟包括：

逐一提取存儲為第一數(shù)據(jù)表結(jié)構(gòu)的原始數(shù)據(jù)中的每一行JSON格式的數(shù)據(jù)；

通過包含分區(qū)信息的數(shù)據(jù)文件得到對所述第一數(shù)據(jù)表結(jié)構(gòu)的原始數(shù)據(jù)進(jìn)行存儲的基于Hive的數(shù)據(jù)文件的分區(qū)位置；

對所述提取的數(shù)據(jù)進(jìn)行計算以得到相應(yīng)的信息摘要值，并通過所述信息摘要值和預(yù)設(shè)的桶數(shù)量的取模得到在數(shù)據(jù)文件的分區(qū)中所述原始數(shù)據(jù)的數(shù)據(jù)存儲位置；

將所述提取的數(shù)據(jù)進(jìn)行壓縮處理，并在壓縮處理后按照所述數(shù)據(jù)存儲位置進(jìn)行存儲。

6.一種實現(xiàn)數(shù)據(jù)查詢的系統(tǒng)，其特征在于，包括：

請求獲取模塊，用于獲取查詢請求；

定位模塊，用于轉(zhuǎn)換所述查詢請求為MapReduce任務(wù)，獲取元數(shù)據(jù)，根據(jù)所述元數(shù)據(jù)得到與所述MapReduce任務(wù)相關(guān)的基于Hive的數(shù)據(jù)文件分區(qū)，根據(jù)定義的數(shù)據(jù)存儲結(jié)構(gòu)對所述MapReduce任務(wù)中的查詢字段進(jìn)行計算以得到相應(yīng)的信息摘要值，并通過所述信息摘要值和預(yù)設(shè)的桶數(shù)量之間的取模得到與所述查詢字段對應(yīng)的數(shù)據(jù)存儲位置，所述數(shù)據(jù)存儲位置用于指示所述查詢字段對應(yīng)的桶和所述桶中的列；

讀取模塊，用于讀取所述定位得到的桶中的列所對應(yīng)的數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述讀取模塊還用于根據(jù)查詢字段對應(yīng)的桶中的列進(jìn)行數(shù)據(jù)加載，并對所述加載的數(shù)據(jù)輸出于數(shù)據(jù)進(jìn)行處理。

8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

原始數(shù)據(jù)存儲模塊，用于接收輸入的原始數(shù)據(jù)，并將所述原始數(shù)據(jù)存儲為第一數(shù)據(jù)表結(jié)構(gòu)；

優(yōu)化處理模塊，用于對所述存儲為第一數(shù)據(jù)表結(jié)構(gòu)的原始數(shù)據(jù)進(jìn)行優(yōu)化處理，以將優(yōu)化處理所得到的數(shù)據(jù)存入配置文件所配置的基于Hive的數(shù)據(jù)文件分區(qū)中。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述原始數(shù)據(jù)存儲模塊還用于通過配置文件配置將所述原始數(shù)據(jù)存入包含分區(qū)信息的數(shù)據(jù)文件中，其中，被存入所述數(shù)據(jù)文件的原始數(shù)據(jù)以JSON格式存儲。

10.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述優(yōu)化處理模塊包括：

提取單元，用于逐一提取存儲為第一數(shù)據(jù)表結(jié)構(gòu)的原始數(shù)據(jù)中的每一行JSON格式的數(shù)據(jù)；

分區(qū)獲取單元，用于通過包含分區(qū)信息的數(shù)據(jù)文件得到對所述第一數(shù)據(jù)表結(jié)構(gòu)的原始數(shù)據(jù)進(jìn)行存儲的基于Hive的數(shù)據(jù)文件的分區(qū)位置；

位置運算單元，用于對所述提取的數(shù)據(jù)進(jìn)行計算以得到相應(yīng)的信息摘要值，并通過所述信息摘要值和預(yù)設(shè)的桶數(shù)量的取模得到在數(shù)據(jù)文件的分區(qū)中所述原始數(shù)據(jù)的數(shù)據(jù)存儲位置；

存儲單元，用于將所述提取的數(shù)據(jù)相關(guān)的原始數(shù)據(jù)進(jìn)行壓縮處理，并在壓縮處理后按照所述數(shù)據(jù)存儲位置進(jìn)行存儲。