[發明專利]數據分發方法、裝置、設備以及存儲介質

在審

• 申請號: 202011063982.0
• 申請日: 2020-09-30
• 公開（公告）號: CN112202692A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 田永生;汪婷
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: H04L12/953
• 分類號: H04L12/953;H04L12/801
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 鄧海鴻;楊瑾瑾

本申請公開了數據分發方法、裝置、電子設備及存儲介質，涉及分布式流式計算領域。具體實現方案為：查詢下游處理單元中的數據分片的排序信息，排序信息是對下游處理單元的數據分片按照待處理數據量進行排序得到的；基于數據分片的排序信息，向下游處理單元中的數據分片進行數據分發。本申請實施例根據下游處理單元的數據處理能力向下游處理單元中的數據分片進行數據分發，使數據向處理能力快的處理單元傾斜，能夠有效地解決數據積壓、數據流阻塞的問題，有效地提高數據流的處理速度與效率，可用于云計算。

技術領域

本申請涉及一種計算機技術領域，尤其涉及一種分布式流式計算領域，可用于云計算。

背景技術

在流式計算系統中，流式計算分發方案包括上游算子的處理單元將數據分發至下游算子的規則。在流式數據處理的實際業務中，部署在分布式集群中規模較大的作業可能會出現單點故障或單點處理速度緩慢的問題。當某個下游算子出現問題時，導致其上游算子數據積壓而無法及時消費。上游算子的數據積壓到一定程度，例如在數據隊列已滿的情況下，會導致上游算子的上游算子也出現數據積壓，從而導致整條數據流消費緩慢。以上現象稱為數據流反壓。出現反壓時由于下游問題算子不消費數據或者消費較慢，導致數據積壓持續加重，直到數據流阻塞。

出現反壓時目前的解決方案是找出問題單點機器，解決問題或遷移作業到其他機器來疏通數據流。目前的解決方案只能在數據流阻塞之后解決問題，故障處理效率較低。

發明內容

本申請提供了一種數據分發方法、裝置、設備以及存儲介質。

根據本申請的一方面，提供了一種數據分發方法，包括：

查詢下游處理單元中的數據分片的排序信息，排序信息是對下游處理單元的數據分片按照待處理數據量進行排序得到的；

基于數據分片的排序信息，向下游處理單元中的數據分片進行數據分發。

根據本申請的另一方面，提供了一種數據分發裝置，包括：

查詢單元，用于查詢下游處理單元中的數據分片的排序信息，排序信息是對下游處理單元的數據分片按照待處理數據量進行排序得到的；

分發單元，用于基于數據分片的排序信息，向下游處理單元中的數據分片進行數據分發。

根據本申請的又一方面，提供了一種電子設備，包括：

至少一個處理器；以及

與至少一個處理器通信連接的存儲器；其中，

存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行本申請任意一項實施例所提供的方法。

根據本申請的又一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，該計算機指令用于使該計算機執行本申請任意一項實施例所提供的方法。

上述申請中的一個實施例具有如下優點或有益效果：根據下游處理單元的數據處理能力向下游處理單元中的數據分片進行數據分發，使數據向處理能力快的處理單元傾斜，能夠有效地解決數據積壓、數據流阻塞的問題，有效地提高數據流的處理速度與效率。

應當理解，本部分所描述的內容并非旨在標識本申請的實施例的關鍵或重要特征，也不用于限制本申請的范圍。本申請的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本申請的限定。其中：

圖1是根據本申請一實施例的數據分發方法的流程圖；

圖2是根據本申請一實施例的數據分發方法的流式計算框架示意圖；

圖3是根據本申請另一實施例的數據分發方法的流程圖；