[發明專利]基于Hadoop MapReduce的數據連接方法及裝置

有效

• 申請號: 201610022151.6
• 申請日: 2016-01-13
• 公開（公告）號: CN105701215B
• 公開（公告）日: 2019-03-22
• 發明（設計）人: 李鵬;李旭陽;余效偉
• 申請（專利權）人: 北京中交興路信息科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李相雨

1.一種基于Hadoop MapReduce的數據連接方法，其特征在于，包括：

在第一類數據中的主鍵標識信息后面依次連接預設字符信息和時間信息，得到第一信息；

在第二類數據中的主鍵標識信息后面依次連接預設字符信息和與所述第一類數據中的時間信息的字符數相同的多個0，得到第二信息；

將所述第一信息和所述第二信息作為MapReduce的關鍵詞key信息，根據MapReduce模型將第一類數據與第二類數據的數據進行連接，并將所述第一信息和所述第二信息中的主鍵標識信息作為分區partition信息，計算將第一類數據與第二類數據的數據連接后得到的每條數據屬于哪個partition，并在每個partition中使用key信息進行排序；

其中，所述第一類數據包括：主鍵標識信息和時間信息；所述第二類數據包括：主鍵標識信息；

所述第一類數據為車輛?？繑祿恚龅谝活悢祿闹麈I標識信息為車輛id字段，所述第一類數據還包括：興趣點POI?？縤d信息；

所述第二類數據為車輛靜態信息數據表，所述第二類數據的主鍵標識信息為車輛id字段，所述第二類數據還包括：車輛注冊時間信息。

2.根據權利要求1所述的方法，其特征在于，所述第一類數據的主鍵標識信息與所述第二類數據的主鍵標識信息對應為同一信息。

3.根據權利要求2所述的方法，其特征在于，所述預設字符信息為逗號。

4.根據權利要求2所述的方法，其特征在于，所述第一類數據中的時間信息的字符數為6，所述多個0為000000。

5.一種基于Hadoop MapReduce的數據連接裝置，其特征在于，包括：

第一連接模塊，用于在第一類數據中的主鍵標識信息后面依次連接預設字符信息和時間信息，得到第一信息；

第二連接模塊，用于在第二類數據中的主鍵標識信息后面依次連接預設字符信息和與所述第一類數據中的時間信息的字符數相同的多個0，得到第二信息；

連接排序模塊，用于將所述第一信息和所述第二信息作為MapReduce的關鍵詞key信息，根據MapReduce模型將第一類數據與第二類數據的數據進行連接，并將所述第一信息和所述第二信息中的主鍵標識信息作為分區partition信息，計算將第一類數據與第二類數據的數據連接后得到的每條數據屬于哪個partition，并在每個partition中使用key信息進行排序；

其中，所述第一類數據包括：主鍵標識信息和時間信息；所述第二類數據包括：主鍵標識信息；

所述第一類數據為車輛?？繑祿?，所述第一類數據的主鍵標識信息為車輛id字段，所述第一類數據還包括：興趣點POI?？縤d信息；

所述第二類數據為車輛靜態信息數據表，所述第二類數據的主鍵標識信息為車輛id字段，所述第二類數據還包括：車輛注冊時間信息。

6.根據權利要求5所述的裝置，其特征在于，所述第一類數據的主鍵標識信息與所述第二類數據的主鍵標識信息對應為同一信息。

7.根據權利要求6所述的裝置，其特征在于，所述預設字符信息為逗號。

8.根據權利要求6所述的裝置，其特征在于，所述第一類數據中的時間信息的字符數為6，所述多個0為000000。