[發明專利]一種數據表關聯方法和裝置

在審

• 申請號: 201610480216.1
• 申請日: 2016-06-27
• 公開（公告）號: CN106874322A
• 公開（公告）日: 2017-06-20
• 發明（設計）人: 康樹鵬
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京博思佳知識產權代理有限公司11415
• 代理人: 靳玫,林祥

1.一種數據表關聯方法，其特征在于，所述方法應用于對第一數據表和第二數據表進行關聯；其中，所述第一數據表中包括：能夠造成數據傾斜的傾斜數據以及所述傾斜數據之外的非傾斜數據，所述方法包括：

由所述第一數據表中提取所述傾斜數據放入第一數據分表，并將所述非傾斜數據放入第二數據分表；

由所述第二數據表中提取匹配關聯所述第一數據分表的數據，放入第三數據分表；

將所述第一數據分表和第三數據分表進行mapjoin得到第一關聯表，將所述第二數據分表和所述第二數據表進行join，得到第二關聯表；

將所述第一關聯表和第二關聯表進行組合，得到關聯結果表，所述關聯結果表為所述第一數據表和第二數據表關聯的結果。

2.根據權利要求1所述的方法，其特征在于，所述由第一數據表中提取所述傾斜數據放入第一數據分表，并將所述非傾斜數據放入第二數據分表，包括：

由所述第一數據表中提取造成數據傾斜的至少一個關聯鍵，將所述至少一個關聯鍵放入關聯鍵子表中；

根據所述關聯鍵子表，將所述第一數據表中匹配關聯所述關聯鍵子表的數據放入所述第一數據分表，將不能匹配關聯所述關聯鍵子表的數據放入所述第二數據分表。

3.根據權利要求2所述的方法，其特征在于，所述由所述第一數據表中提取造成數據傾斜的至少一個關聯鍵，包括：

統計所述第一數據表中的各個關聯鍵的數量，將各個關聯鍵按照數量由多到少的順序進行排序；

根據預先設定的關聯鍵數量上限，獲取排序位數在所述關聯鍵數量上限之內的至少一個關聯鍵，作為所述造成數據傾斜的至少一個關聯鍵。

4.根據權利要求2所述的方法，其特征在于，所述由所述第二數據表中提取匹配關聯所述第一數據分表的數據，放入第三數據分表，包括：

將所述關聯鍵子表與所述第二數據表進行關聯，將關聯得到的所述第二數據表的數據放入所述第三數據分表。

5.根據權利要求2所述的方法，其特征在于，所述根據所述關聯鍵子表，將所述第一數據表中匹配關聯所述關聯鍵子表的數據放入所述第一數據分表，將不能匹配關聯所述關聯鍵子表的數據放入所述第二數據分表，包括：

將所述關聯鍵子表與所述第一數據表進行第一次mapjoin，得到匹配關聯所述關聯鍵子表的數據放入所述第一數據分表；將所述關聯鍵子表與所述第一數據表進行第二次mapjoin，得到不能匹配關聯所述關聯鍵子表的數據放入所述第二數據分表；

或者，將所述關聯鍵子表與所述第一數據表進行一次mapjoin，分別對匹配關聯所述關聯鍵子表的數據和不能匹配關聯所述關聯鍵子表的數據進行標識；根據所述標識，將所述匹配關聯所述關聯鍵子表的數據放入所述第一數據分表，將不能匹配關聯所述關聯鍵子表的數據放入所述第二數據分表。

6.一種數據表關聯裝置，其特征在于，所述裝置應用于對第一數據表和第二數據表進行關聯；其中，所述第一數據表中包括：能夠造成數據傾斜的傾斜數據以及所述傾斜數據之外的非傾斜數據，所述裝置包括：

表拆分單元，用于由所述第一數據表中提取所述傾斜數據放入第一數據分表，并將所述非傾斜數據放入第二數據分表；

表提取單元，用于由所述第二數據表中提取匹配關聯所述第一數據分表的數據，放入第三數據分表；

表關聯單元，用于將所述第一數據分表和第三數據分表進行mapjoin得到第一關聯表，將所述第二數據分表和所述第二數據表進行join，得到第二關聯表；

表組合單元，用于將所述第一關聯表和第二關聯表進行組合，得到關聯結果表，所述關聯結果表為所述第一數據表和第二數據表關聯的結果。

7.根據權利要求6所述的裝置，其特征在于，所述表拆分單元包括：

鍵提取子單元，用于由所述第一數據表中提取造成數據傾斜的至少一個關聯鍵，將所述至少一個關聯鍵放入關聯鍵子表中；

表生成子單元，用于根據所述關聯鍵子表，將所述第一數據表中匹配關聯所述關聯鍵子表的數據放入所述第一數據分表，將不能匹配關聯所述關聯鍵子表的數據放入所述第二數據分表。