[發明專利]一種storm數據流反壓方法以及節點

在審

• 申請號: 201810565586.4
• 申請日: 2018-06-04
• 公開（公告）號: CN108768881A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 王文慶;杜彥魁;關坤龍
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: H04L12/825
• 分類號: H04L12/825;H04L12/863
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 王康;解婷婷

本發明公開了一種storm數據流反壓方法和節點，其中，所述方法包括：節點設置接收隊列和發送隊列，接收隊列用于保存上游節點發送的Tuple，發送隊列用于保存并向下游節點發送本節點已處理完畢的Tuple；節點接收到來自下游節點的過載消息后，根據下游節點接收隊列的大小自適應減小自身的發送隊列大小；以及根據減小后的發送隊列大小自適應減小自身的接收隊列大小；節點接收到來自上游節點的過載消息后，根據上游節點發送隊列大小自適應減小自身的接收隊列大小，以及根據減小后的接收隊列大小自適應減小自身的發送隊列大小。本發明避免了storm數據流處于震蕩狀態。

技術領域

本發明涉及storm數據流反壓技術，尤指一種storm數據流反壓方法以及節點。

背景技術

分布式實時大數據處理組件Apache Storm由于其強大的實時計算能力被廣泛應用于實時搜索、高頻交易和社交網絡等場景，受到業界一致好評。然而，分布式實時大數據流式框架Storm在大數據庫流式計算環境中，由于讀取數據源的Spout節點及數據處理Bolt節點之間對數據處理能力差異明顯，導致大量數據流元組Tuple被丟棄。

針對Storm在突發性數據流中存在的Tuple處理超時而失敗的問題，業界與學術界開展了一系列的研究工作。Storm提出了一種機制，當輸入的數據流元組無法被及時處理或者元組的到達速率超過其被處理速率時，發送者會簡單地丟棄這些Tuple，觸發限流控制，從Spout處暫停數據源的發送，這一機制稱為反壓機制。當下游出現過載時，上游停止發送，下游消除過載后，上游開始放流。然后下游過載，上游又停止發送數據，如此反復，可能導致整個數據流一直處在震蕩狀態，必然影響整個Apache Storm集群計算效率。因此，反壓機制的高穩定性、有效性成為Storm計算框架亟待解決的問題。

發明內容

為了解決上述技術問題，本發明提供了一種storm數據流反壓方法和節點，可以避免storm數據流處于震蕩狀態。

本發明提供的一種storm數據流反壓方法，包括：

節點設置接收隊列和發送隊列，所述節點包括數據源讀取節點Spout和數據處理節點Bolt，所述接收隊列用于保存上游節點發送的數據流元組Tuple，所述發送隊列用于保存并向下游節點發送本節點已處理完畢的數據流元組Tuple；

節點接收到來自下游節點的過載消息后，根據下游節點接收隊列的大小自適應減小自身的發送隊列大小；以及根據減小后的發送隊列大小自適應減小自身的接收隊列大小；

節點接收到來自上游節點的過載消息后，根據上游節點發送隊列大小自適應減小自身的接收隊列大小，以及根據減小后的接收隊列大小自適應減小自身的發送隊列大小。

本發明提供的一種storm數據流反壓節點，所述節點包括數據源讀取節點Spout和數據處理節點Bolt，每個節點包括：

接收隊列，用于保存上游節點發送的數據流元組Tuple；

發送隊列，用于保存并向下游節點發送本節點已處理完畢的數據流元組Tuple；

過載模塊，用于在本節點過載時產生過載消息，并發送過載消息；

調整模塊，用于接收到來自下游節點的過載消息后，根據下游節點接收隊列的大小自適應減小發送隊列大小，以及根據減小后的發送隊列大小自適應減小接收隊列大小；接收到來自上游節點的過載消息后，根據上游節點發送隊列大小自適應減小接收隊列大小，以及根據減小后的接收隊列大小自適應減小發送隊列大小。

本發明提供了一種計算機可讀存儲介質，所述介質存儲有計算機可執行指令，所述計算機可執行指令被處理器執行時實現上述的storm數據流反壓方法。

本發明提供了一種storm數據流反壓設備，包括：

存儲器，設置為存儲指令；