[發(fā)明專利]數(shù)據(jù)查詢方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810501501.6
• 申請(qǐng)日: 2018-05-23
• 公開(kāi)（公告）號(hào): CN108874897B
• 公開(kāi)（公告）日: 2019-09-13
• 發(fā)明（設(shè)計(jì)）人: 杜威科;史寧寧
• 申請(qǐng)（專利權(quán)）人: 新華三大數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/174;G06F16/14
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 王小梅

1.一種數(shù)據(jù)查詢方法，其特征在于，應(yīng)用于驅(qū)動(dòng)器Driver，所述方法包括：

獲取目標(biāo)數(shù)據(jù)對(duì)應(yīng)的第一行偏移量和第一長(zhǎng)度，其中，所述第一行偏移量指示所述目標(biāo)數(shù)據(jù)在目標(biāo)HDFS文件中的起始行，所述第一長(zhǎng)度為所述目標(biāo)數(shù)據(jù)的行數(shù)；

獲取所述目標(biāo)HDFS文件中各個(gè)數(shù)據(jù)塊的行數(shù)；

根據(jù)所述第一行偏移量和第一長(zhǎng)度及所述各個(gè)數(shù)據(jù)塊的行數(shù)，確定所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)塊；

根據(jù)所述第一行偏移量和第一長(zhǎng)度及所述各個(gè)數(shù)據(jù)塊的行數(shù)，確定所述目標(biāo)數(shù)據(jù)在所述目標(biāo)數(shù)據(jù)塊中對(duì)應(yīng)的第二行偏移量和第二長(zhǎng)度；

向所述目標(biāo)數(shù)據(jù)塊所對(duì)應(yīng)的執(zhí)行器Executor發(fā)送目標(biāo)數(shù)據(jù)獲取指令，所述目標(biāo)數(shù)據(jù)獲取指令包括所述目標(biāo)數(shù)據(jù)塊的標(biāo)識(shí)信息，及所述目標(biāo)數(shù)據(jù)塊對(duì)應(yīng)的所述第二行偏移量及所述第二長(zhǎng)度。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述第一行偏移量和第一長(zhǎng)度及所述各個(gè)數(shù)據(jù)塊的行數(shù)，確定所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)塊，包括：

按照數(shù)據(jù)塊在目標(biāo)HDFS文件中的順序遍歷數(shù)據(jù)塊，對(duì)于遍歷到的任一數(shù)據(jù)塊：

判斷該數(shù)據(jù)塊之前的所有數(shù)據(jù)塊與該數(shù)據(jù)塊的行數(shù)之和是否大于第一行偏移量，以及判斷該數(shù)據(jù)塊之前的所有數(shù)據(jù)塊的行數(shù)之和是否小于或者等于第一行偏移量與第一長(zhǎng)度之和；

在該數(shù)據(jù)塊之前的所有數(shù)據(jù)塊與該數(shù)據(jù)塊的行數(shù)之和大于第一行偏移量，以及該數(shù)據(jù)塊之前的所有數(shù)據(jù)塊的行數(shù)之和小于或者等于第一行偏移量與第一長(zhǎng)度之和時(shí)，確定該數(shù)據(jù)塊為目標(biāo)數(shù)據(jù)塊。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一行偏移量和第一長(zhǎng)度及各個(gè)所述數(shù)據(jù)塊的行數(shù)，確定所述目標(biāo)數(shù)據(jù)在所述目標(biāo)數(shù)據(jù)塊中對(duì)應(yīng)的第二行偏移量，包括：

針對(duì)任一目標(biāo)數(shù)據(jù)塊，在該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊的行數(shù)之和大于或者等于所述第一行偏移量時(shí)，確定該目標(biāo)數(shù)據(jù)塊對(duì)應(yīng)的所述第二行偏移量為0；

在該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊的行數(shù)之和小于所述第一行偏移量時(shí)，確定所述第一行偏移量與該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊的行數(shù)之和的差值為該目標(biāo)數(shù)據(jù)塊對(duì)應(yīng)的第二行偏移量。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述第一行偏移量和第一長(zhǎng)度及各個(gè)所述數(shù)據(jù)塊的行數(shù)，確定所述目標(biāo)數(shù)據(jù)在所述目標(biāo)數(shù)據(jù)塊中對(duì)應(yīng)的第二長(zhǎng)度，包括：

針對(duì)任一目標(biāo)數(shù)據(jù)塊，在該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊的行數(shù)之和小于或者等于所述第一行偏移量，且該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊與該目標(biāo)數(shù)據(jù)塊的行數(shù)之和大于或者等于第一行偏移量與第一長(zhǎng)度之和時(shí)，將所述第一長(zhǎng)度作為該目標(biāo)數(shù)據(jù)塊對(duì)應(yīng)的第二長(zhǎng)度；

在所述該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊的行數(shù)之和小于或者等于所述第一行偏移量，且該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊與該目標(biāo)數(shù)據(jù)塊的行數(shù)之和小于第一行偏移量與第一長(zhǎng)度之和時(shí)，確定該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊與該目標(biāo)數(shù)據(jù)塊的行數(shù)之和與所述第一行偏移量的差值為該目標(biāo)數(shù)據(jù)塊對(duì)應(yīng)的第二長(zhǎng)度；

在該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊與該目標(biāo)數(shù)據(jù)塊的行數(shù)之和小于第一行偏移量與第一長(zhǎng)度之和，且該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊的行數(shù)之和大于所述第一行偏移量時(shí)，確定該目標(biāo)數(shù)據(jù)塊的行數(shù)為該目標(biāo)數(shù)據(jù)塊對(duì)應(yīng)的第二長(zhǎng)度；

在該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊與該目標(biāo)數(shù)據(jù)塊的行數(shù)之和大于或者等于第一行偏移量與第一長(zhǎng)度之和，且該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊的行數(shù)之和大于所述第一行偏移量時(shí)，確定第一行偏移量與第一長(zhǎng)度之和與該目標(biāo)數(shù)據(jù)塊之前的所有數(shù)據(jù)塊的行數(shù)之和的差值為該目標(biāo)數(shù)據(jù)塊對(duì)應(yīng)的第二長(zhǎng)度。

5.一種數(shù)據(jù)查詢方法，其特征在于，應(yīng)用于執(zhí)行器Executor，所述方法包括：

接收來(lái)自驅(qū)動(dòng)器Driver的目標(biāo)數(shù)據(jù)獲取指令，所述目標(biāo)獲取指令中包括目標(biāo)數(shù)據(jù)塊的標(biāo)識(shí)信息，及所述目標(biāo)數(shù)據(jù)塊對(duì)應(yīng)的第二行偏移量及第二長(zhǎng)度；其中，所述目標(biāo)數(shù)據(jù)塊對(duì)應(yīng)的第二行偏移量及第二長(zhǎng)度是根據(jù)第一行偏移量和第一長(zhǎng)度及目標(biāo)HDFS文件中各個(gè)數(shù)據(jù)塊的行數(shù)確定的；所述第一行偏移量指示所述目標(biāo)數(shù)據(jù)在所述目標(biāo)HDFS文件中的起始行，所述第一長(zhǎng)度為所述目標(biāo)數(shù)據(jù)的行數(shù)；

從所述目標(biāo)HDFS文件中獲取所述目標(biāo)數(shù)據(jù)塊；

根據(jù)所述目標(biāo)數(shù)據(jù)塊對(duì)應(yīng)的所述第二行偏移量及所述第二長(zhǎng)度從所述目標(biāo)數(shù)據(jù)塊中獲取所述目標(biāo)數(shù)據(jù)。