[發明專利]多路數據流θ連接優化方法及系統

在審

• 申請號: 201910774187.3
• 申請日: 2019-08-21
• 公開（公告）號: CN110489452A
• 公開（公告）日: 2019-11-22
• 發明（設計）人: 胡紫玥;范小朋;須成忠
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/182
• 代理公司: 44316 深圳市科進知識產權代理事務所(普通合伙)
• 代理人: 曹衛良<國際申請>=<國際公布>=<進入

1.一種多路數據流θ連接優化方法，其特征在于，該方法包括如下步驟：

a.從每個原始數據流中取出待處理數據分別緩存至該原始數據流對應的一個緩存器；

b.所述緩存器將取出的待處理數據按照指定屬性值范圍進行分區存儲；

c.對上述分區存儲的待處理數據進行粗過濾；

d.對上述粗過濾或者重新分區后的數據進行連接操作；

e.剔除連接操作后數據中不滿足條件的數據，得到最終連接結果。

2.如權利要求1所述的方法，其特征在于，在所述步驟a之前還包括：

判斷原始數據流的數量：

如果原始數據流的數量為2，則進行上述步驟a至步驟e，得到最終連接結果；

如果原始數據流的數量大于2，則將多路原始數據流先兩兩組成一對，進行上述步驟a至步驟e，多對并發執行，再將并發執行的結果作為下一輪的輸入，兩兩成對過濾，直至只有一個輸出；對于沒有兩兩成對的數據，直接進入下一輪，作為下一輪的輸入。

3.如權利要求1所述的方法，其特征在于，所述的步驟b包括：

分別將原始數據流的待處理數據按照其指定屬性值的范圍進行分區，使分區之間有序，分別獲取待處理數據中的最大值和最小值。

4.如權利要求2所述的方法，其特征在于，所述的步驟c包括：

將分區存儲的數據流中不滿足粗過濾條件的數據刪除，所述緩存器的分區間均是有序的，在刪除操作時，快速鎖定粗過濾條件所在分區，不滿足條件的分區直接刪除其中所有數據。

5.如權利要求3所述的方法，其特征在于，所述的步驟c和步驟d之間還包括：

判斷是否發生數據傾斜；

如果發生了數據傾斜，則對發生傾斜的數據進行重新分區；如果沒有發生數據傾斜，則直接進入步驟d。

6.一種多路數據流θ連接優化系統，其特征在于，該系統包括獲取模塊、存儲模塊、粗過濾模塊、判斷模塊、分區模塊、連接模塊以及篩選模塊，其中：

所述獲取模塊用于從每個原始數據流中取出待處理數據分別緩存至該原始數據流對應的一個緩存器；

所述存儲模塊用于使所述緩存器將取出的待處理數據按照指定屬性值范圍進行分區存儲；

所述粗過濾模塊用于對上述分區存儲的待處理數據進行粗過濾；

所述連接模塊用于對上述粗過濾或者重新分區后的數據進行連接操作；

所述篩選模塊用于剔除連接操作后數據中不滿足條件的數據，得到最終連接結果。

7.如權利要求6所述的系統，其特征在于，該系統還包括判斷模塊，所述的判斷模塊具體用于：

判斷原始數據流的數量：

如果原始數據流的數量為2，則進行上述步驟a至步驟e，得到最終連接結果；

如果原始數據流的數量大于2，則將多路原始數據流先兩兩組成一對，進行上述步驟a至步驟e，多對并發執行，再將并發執行的結果作為下一輪的輸入，兩兩成對過濾，直至只有一個輸出；對于沒有兩兩成對的數據，直接進入下一輪，作為下一輪的輸入。

8.如權利要求7所述的系統，其特征在于，所述的存儲模塊具體用于：

分別將原始數據流的待處理數據按照其指定屬性值的范圍進行分區，使分區之間有序，分別獲取待處理數據中的最大值和最小值。

9.如權利要求8所述的系統，其特征在于，所述的粗過濾模塊具體用于：

將分區存儲的數據流中不滿足粗過濾條件的數據刪除，所述緩存器的分區間均是有序的，在刪除操作時，快速鎖定粗過濾條件所在分區，不滿足條件的分區直接刪除其中所有數據。

10.如權利要求9所述的系統，其特征在于：

所述的判斷模塊還用于判斷是否發生數據傾斜；

該系統還包括分區模塊，所述分區模塊用于在發生數據傾斜時，對發生傾斜的數據進行重新分區。