[發明專利]數據集合連接方法、裝置及數據庫系統

在審

• 申請號: 201410523412.3
• 申請日: 2014-09-30
• 公開（公告）號: CN104298736A
• 公開（公告）日: 2015-01-21
• 發明（設計）人: 陸春義
• 申請（專利權）人: 華為軟件技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 鞠永善

1.一種數據集合連接裝置，其特征在于，所述裝置包括：

分割單元，用于將多個數據集合中的每個數據集合分割為多個數據子集；

連接單元，用于將第一數據集合中的數據子集中的數據記錄與第二數據集合中的數據子集中的數據記錄逐條匹配，將相匹配的數據記錄進行連接，直至所述第一數據集合中的所有數據子集與所述第二數據集合中的數據子集實現數據記錄連接，對于所述多個數據集合中每兩個數據集合，將其中一個作為第一數據集合，將另一個作為第二數據集合；

輸出單元，用于輸出連接后的數據記錄。

2.根據權利要求1所述的裝置，其特征在于，所述分割單元還用于：

對于所述數據集合中的每個數據集合，根據所述數據集合中數據記錄的標識信息將所述數據記錄分配至對應的數據子集，所述數據集合包括預設數量的數據子集。

3.根據權利要求2所述的裝置，其特征在于，所述數據記錄的標識信息包括：數據記錄的哈希值；

所述分割單元包括：

第一讀取模塊，用于從數據集合中順序讀取數據記錄；

處理模塊，用于根據當前數據記錄的關鍵字段生成對應的哈希值；

計算模塊，用于對所述當前數據記錄的哈希值按照預設的數據子集數量取模，得到所述當前數據記錄對應的數據子集序號；

分配模塊，用于將所述當前數據記錄以及所述當前數據記錄的哈希值分配至對應的數據子集。

4.根據權利要求3所述的裝置，其特征在于，所述處理模塊還用于：

以當前數據記錄的關鍵字段作為輸入參數，通過算法生成一個與所述當前數據記錄唯一對應的整型哈希值。

5.根據權利要求3所述的裝置，其特征在于，所述分割單元還包括：

計數模塊，用于當數據子集內的數據記錄達到預設條數時，將所述預設條數的數據記錄作為所述數據子集的子塊并按照哈希值排序；

寫入模塊，用于將所述子塊寫入本地磁盤；

數據清除模塊，用于清空內存中的所述數據子集的數據。

6.根據權利要求5所述的裝置，其特征在于，所述連接單元包括：

第二讀取模塊，用于從所述第一數據集合中的第一數據子集內的每一個子塊中順序讀取一條數據記錄，以哈希值最小的數據記錄作為所述第一數據集合中的第一數據子集的當前匹配記錄；

所述第二讀取模塊還用于從所述第二數據集合中的第一數據子集內的每一個子塊中順序讀取一條數據記錄，以哈希值最小的數據記錄作為所述第二數據集合中的第一數據子集的當前匹配記錄；

比較模塊，用于將所述第一數據集合中的第一數據子集的當前匹配記錄的哈希值與所述第二數據集合中的第一數據子集的當前匹配記錄的哈希值進行比較，將哈希值相等的當前匹配記錄進行連接。

7.根據權利要求6所述的裝置，其特征在于，所述比較模塊還用于：

當所述第一數據集合中的第一數據子集的當前匹配記錄的哈希值等于所述第二數據集合中的第一數據子集的當前匹配記錄的哈希值時，將兩條當前匹配記錄進行連接；

當所述第一數據集合中的第一數據子集的當前匹配記錄的哈希值小于所述第二數據集合中的第一數據子集的當前匹配記錄的哈希值時，從所述第一數據集合中的第一數據子集內的哈希值最小的子塊中讀取下一條數據記錄，將讀取到的所述數據記錄與所述第一數據集合中的第一數據子集內的其他子塊的當前數據記錄比較，以哈希值最小的數據記錄作為所述第一數據集合中的第一數據子集的當前匹配記錄；

當所述第一數據集合中的第一數據子集的當前匹配記錄的哈希值大于所述第二數據集合中的第一數據子集的當前匹配記錄的哈希值時，從所述第二數據集合中的第一數據子集內的哈希值最小的子塊中讀取下一條數據記錄，將讀取到的所述數據記錄與所述第二數據集合中的第一數據子集內的其他子塊的當前數據記錄比較，以哈希值最小的數據記錄作為所述第二數據集合中的第一數據子集的當前匹配記錄。