[發明專利]通用流式Shuffle引擎的實現方法、裝置、設備及存儲介質

有效

• 申請號: 201810761504.3
• 申請日: 2018-07-12
• 公開（公告）號: CN109189746B
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 張建偉;宋展
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/17
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 袁媛

1.一種通用流式Shuffle引擎的實現方法，其特征在于，包括：

Shuffle獲取分布式計算引擎寫入端dce writer在內存中進行計算的同時發送給所述Shuffle的數據；

當每次符合預定條件時，所述Shuffle將獲取到的數據在內存中進行排序后寫入到Hadoop分布式文件系統HDFS，以便分布式計算引擎讀取端dce reader從所述HDFS中讀取自身對應的數據。

2.根據權利要求1所述的方法，其特征在于，

該方法進一步包括：

所述Shuffle將數據寫入到所述HDFS中之后，向所述dce writer返回確認ACK信息，以便所述dce writer將所述ACK信息對應的數據從內存中刪除。

3.根據權利要求1所述的方法，其特征在于，

所述符合預定條件包括：內存已滿，或者，定時器到時。

4.一種通用流式Shuffle引擎的實現方法，其特征在于，包括：

分布式計算引擎寫入端dce writer在內存中進行計算的同時，將輸出的數據發送給Shuffle，以便當每次符合預定條件時，所述Shuffle將獲取到的數據在內存中進行排序后寫入到Hadoop分布式文件系統HDFS，進而由分布式計算引擎讀取端dce reader從所述HDFS中讀取自身對應的數據。

5.根據權利要求4所述的方法，其特征在于，

該方法進一步包括：

所述dce writer獲取所述Shuffle將數據寫入到所述HDFS中之后，向所述dce writer返回的確認ACK信息，將所述ACK信息對應的數據從內存中刪除。

6.根據權利要求4所述的方法，其特征在于，

該方法進一步包括：

當接收所述dce writer數據的Shuffle中存在慢節點時，所述dce writer將數據發送給重新為其分配的Shuffle，利用重新分配的Shuffle替換慢節點Shuffle的工作。

7.根據權利要求4所述的方法，其特征在于，

該方法進一步包括：

所述dce writer采用預約的模式將數據發送給所述Shuffle，包括：

向所述Shuffle發送預約大小的遠程過程調用RPC請求；

若接收到針對所述請求的確認消息，則向所述Shuffle發送攜帶有所述預約大小的數據的RPC。

8.一種通用流式Shuffle引擎的實現方法，其特征在于，包括：

分布式計算引擎讀取端dce reader從Hadoop分布式文件系統HDFS中讀取自身對應的數據；所述數據為分布式計算引擎寫入端dce writer在內存中進行計算的同時將輸出的數據發送給Shuffle后，當每次符合預定條件時，所述Shuffle將獲取到的數據在內存中進行排序后寫入到所述HDFS中的。

9.根據權利要求8所述的方法，其特征在于，

該方法進一步包括：

所述dce reader在從所述HDFS中讀取數據時，根據數據標識去除重復的數據。

10.一種通用流式Shuffle引擎的實現裝置，其特征在于，包括：第一處理單元以及第二處理單元；

所述第一處理單元，用于獲取分布式計算引擎寫入端dce writer在內存中進行計算的同時輸出的數據；

所述第二處理單元，用于當每次符合預定條件時，將獲取到的數據在內存中進行排序后寫入到Hadoop分布式文件系統HDFS，以便分布式計算引擎讀取端dce reader從所述HDFS中讀取自身對應的數據。