[發(fā)明專利]基于MapReduce模型的數(shù)據(jù)處理方法和設(shè)備

有效

• 申請?zhí)枺?/td>: 201710072197.3
• 申請日: 2017-02-09
• 公開（公告）號: CN108415912B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設(shè)計）人: 路璐
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/2455;G06F16/27;G06F16/28;G06F16/182
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315
• 代理人: 黃熊

1.基于MapReduce模型的數(shù)據(jù)處理方法，其特征在于，包括：

在利用MapReduce模型實現(xiàn)SQL指令的處理中，確定所述SQL指令是否已在Map端進(jìn)行局部規(guī)約，其中，局部規(guī)約利用數(shù)據(jù)的重復(fù)性減少Map端與Reduce端之間的數(shù)據(jù)量；

若確定進(jìn)行局部規(guī)約，則利用第一排序算法對經(jīng)局部規(guī)約處理后的數(shù)據(jù)進(jìn)行排序；

若確定不進(jìn)行局部規(guī)約，則利用與第一排序算法不同的第二排序算法對經(jīng)Mapper輸出的數(shù)據(jù)進(jìn)行排序。

2.如權(quán)利要求1所述的方法，其特征在于，所述第一排序算法包括快速排序算法。

3.如權(quán)利要求1所述的方法，其特征在于，所述第二排序算法包括索引排序算法。

4.如權(quán)利要求1所述的方法，其特征在于，利用第一排序算法對經(jīng)局部規(guī)約處理后的數(shù)據(jù)進(jìn)行排序包括：

對經(jīng)Mapper輸出的數(shù)據(jù)執(zhí)行局部規(guī)約處理；

按照第一排序算法對局部規(guī)約處理后的數(shù)據(jù)進(jìn)行排序。

5.如權(quán)利要求2所述的方法，其特征在于，利用第一排序算法對經(jīng)局部規(guī)約處理后的數(shù)據(jù)進(jìn)行排序包括：

從經(jīng)局部規(guī)約處理后的數(shù)據(jù)中選取任一key值作為有序序列的key值，將其它的key值作為未排序序列的key值；

將所述有序序列的key值與所述未排序序列的key值分別進(jìn)行比較；

若所述有序序列的key值大于所述未排序序列的key值，則將所述未排序序列的key值排在所述有序序列的key值的后面；

若所述有序序列的key值小于所述未排序序列的key值，則將所述未排序序列的key值排在所述有序序列的key值的前面。

6.如權(quán)利要求3所述的方法，其特征在于，利用第二排序算法對經(jīng)Mapper輸出的數(shù)據(jù)進(jìn)行排序包括：

確定基準(zhǔn)key值；

通過將經(jīng)Mapper輸出的數(shù)據(jù)中的key值與基準(zhǔn)key值進(jìn)行比較，將所述key值歸類為小于基準(zhǔn)key值的集合、等于基準(zhǔn)key值的集合和大于基準(zhǔn)key值的這三個集合；

針對所述小于基準(zhǔn)key值的集合和所述大于基準(zhǔn)key值的集合，分別設(shè)置新的基準(zhǔn)key值，并將各自集合中的key值與對應(yīng)的所述新的基準(zhǔn)key值進(jìn)行比較，從而對這兩個集合進(jìn)行進(jìn)一步的劃分，以將經(jīng)Mapper輸出的數(shù)據(jù)以集合的形式按照從大到小順序進(jìn)行排序。

7.如權(quán)利要求1至6中的任一項所述的方法，其中，利用Combiner執(zhí)行局部規(guī)約。

8.一種基于MapReduce模型的數(shù)據(jù)處理設(shè)備，其特征在于，包括：

確定模塊，在利用MapReduce模型實現(xiàn)SQL指令的處理中，確定所述SQL指令是否已在Map端進(jìn)行局部規(guī)約，其中，局部規(guī)約利用數(shù)據(jù)的重復(fù)性減少Map端與Reduce端之間的數(shù)據(jù)量；

第一排序模塊，若確定進(jìn)行局部規(guī)約，則利用第一排序算法對經(jīng)局部規(guī)約處理后的數(shù)據(jù)進(jìn)行排序；

第二排序模塊，若確定不進(jìn)行局部規(guī)約，則利用與第一排序算法不同的第二排序算法對經(jīng)Mapper輸出的數(shù)據(jù)進(jìn)行排序。

9.如權(quán)利要求8所述的設(shè)備，其特征在于，所述第一排序算法包括快速排序算法。

10.如權(quán)利要求8所述的設(shè)備，其特征在于，所述第二排序算法包括索引排序算法。

11.如權(quán)利要求8所述的設(shè)備，其特征在于，還包括：局部規(guī)約處理模塊，若確定模塊確定進(jìn)行局部規(guī)約后，對經(jīng)Mapper輸出的數(shù)據(jù)進(jìn)行局部規(guī)約處理；將局部規(guī)約后的數(shù)據(jù)發(fā)送到第一排序模塊。