[發(fā)明專利]一種多指標(biāo)排序數(shù)據(jù)處理方法及設(shè)備

有效

• 申請?zhí)枺?/td>: 201110325432.6
• 申請日: 2011-10-24
• 公開（公告）號: CN103064862A
• 公開（公告）日: 2013-04-24
• 發(fā)明（設(shè)計）人: 黃明
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 郭潤湘

1.一種多指標(biāo)排序數(shù)據(jù)處理方法，其特征在于，所述方法包括：

確定多條具有相同維度信息的第一記錄信息，其中，每條第一記錄信息中包含了主體信息、該主體信息對應(yīng)的至少兩個指標(biāo)、各指標(biāo)對應(yīng)的指標(biāo)值；

分別將每條第一記錄信息按照其中包含的指標(biāo)拆分為多條第二記錄信息，其中，一條第二記錄信息中包含一個指標(biāo)、與該指標(biāo)對應(yīng)的一個主體信息，以及該主體信息在該指標(biāo)下的指標(biāo)值；

將具有相同指標(biāo)的第二記錄信息按照包含的指標(biāo)值進行排序。

2.如權(quán)利要求1所述的方法，其特征在于，將具有相同指標(biāo)的第二記錄信息按照包含的指標(biāo)值進行排序之后，所述方法還包括：

分別將具有相同主體信息的第二記錄信息合并為一條第一記錄信息，并顯示合并后的第一記錄信息中的主體信息對應(yīng)的各指標(biāo)的排序結(jié)果。

3.如權(quán)利要求1所述的方法，其特征在于，所述確定多條具有相同維度信息的第一記錄信息具體包括：

將所述多條第一記錄信息劃分為至少一個信息集合，所述信息集合中包含的第一記錄信息具有相同的維度信息；

將任一所述的信息集合中的第一記錄信息作為確定的多條具有相同維度信息的第一記錄信息。

4.如權(quán)利要求1～3任一所述的方法，其特征在于，將第一記錄信息拆分為多條第二記錄信息之后，且將具有相同指標(biāo)的第二記錄信息按照包含的指標(biāo)值進行排序之前，所述方法還包括：

將拆分得到的第二記錄信息劃分為多個子集合，所述子集合中包含的第二記錄信息具有相同的指標(biāo)；

將具有相同指標(biāo)的第二記錄信息按照包含的指標(biāo)值進行排序，具體包括：

針對每個子集合中的多條第二記錄信息，按照包含的指標(biāo)值進行排序。

5.如權(quán)利要求4所述的方法，其特征在于，所述多指標(biāo)排序數(shù)據(jù)處理方法通過Hadoop中的映射-歸約Map-Reduce編程模型或Hive來實現(xiàn)。

6.如權(quán)利要求5所述的方法，其特征在于，將拆分得到的第二記錄信息劃分為多個子集合，具體包括：

利用Map-Reduce中的KeyComparator類將拆分得到的第二記錄信息劃分為多個子集合；

針對每個子集合中的多條第二記錄信息，按照包含的指標(biāo)值進行排序，具體包括：

利用Map-Reduce中的KeyPartitioner類確定以并行和/或串行方式對各子集合中的第二記錄信息進行排序；

利用Map-Reduce中的KeyValueComparator類針對每個子集合中的多條第二記錄信息，按照包含的指標(biāo)值進行排序。

7.一種多指標(biāo)排序數(shù)據(jù)處理設(shè)備，其特征在于，所述設(shè)備包括：

第一記錄信息確定模塊，用于確定多條具有相同維度信息的第一記錄信息，其中，每條第一記錄信息中包含了主體信息、該主體信息對應(yīng)的至少兩個指標(biāo)、各指標(biāo)對應(yīng)的指標(biāo)值；

第二記錄信息生成模塊，用于分別將每條第一記錄信息按照其中包含的指標(biāo)拆分為多條第二記錄信息，其中，一條第二記錄信息中包含一個指標(biāo)、與該指標(biāo)對應(yīng)的一個主體信息，以及該主體信息在該指標(biāo)下的指標(biāo)值；

排序模塊，用于將具有相同指標(biāo)的第二記錄信息按照包含的指標(biāo)值進行排序。

8.如權(quán)利要求7所述的設(shè)備，其特征在于，所述設(shè)備還包括：

合并模塊，用于分別將具有相同主體信息的第二記錄信息合并為一條第一記錄信息，并顯示合并后的第一記錄信息中的主體信息對應(yīng)的各指標(biāo)的排序結(jié)果。

9.如權(quán)利要求7所述的設(shè)備，其特征在于，所述第一記錄信息確定模塊具體包括：

信息集合劃分單元，用于將所述多條第一記錄信息劃分為至少一個信息集合，所述信息集合中包含的第一記錄信息具有相同的維度信息；

確定單元，用于將任一所述的信息集合中的第一記錄信息作為確定的多條具有相同維度信息的第一記錄信息。

10.如權(quán)利要求7～9任一所述的設(shè)備，其特征在于，所述設(shè)備還包括：

子集合劃分模塊，用于將拆分得到的第二記錄信息劃分為多個子集合，所述子集合中包含的第二記錄信息具有相同的指標(biāo)；

所述排序模塊，具體用于針對每個子集合中的多條第二記錄信息，按照包含的指標(biāo)值進行排序。