[發明專利]數據處理的方法和數據處理系統

在審

• 申請號: 201511018505.1
• 申請日: 2015-12-30
• 公開（公告）號: CN106936607A
• 公開（公告）日: 2017-07-07
• 發明（設計）人: 梁治平;王剛
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/803;H04L12/815;H04L12/825
• 代理公司: 北京龍雙利達知識產權代理有限公司11329
• 代理人: 毛威,孫濤

技術領域

本發明涉及信息技術領域，并且更具體地，涉及數據處理的方法和數據處理系統。

背景技術

隨著系統規模、業務數量和用戶數目的增長，系統每天都會產生海量日志。運維人員需要從海量日志中分析出系統出現的問題、用戶體驗以及業務情況等信息。目前主流廠商都是用流處理引擎來對海量數據進行分析和處理，流處理引擎的性能決定了數據處理的能力。

目前主要的流處理引擎內部數據處理拓撲采用的是發送(Spout)模塊+處理(Bolt)模塊方式，例如流處理引擎(Storm)。在非事務機制中，Spout模塊不斷的往后面的處理模塊發送數據，當Bolt模塊處理能力不足的時候，Spout模塊發送速率不變，會導致數據堆積。在事務機制中，Spout模塊按照批次發送，一批數據處理完成后，再發送下一批數據，若由于Bolt模塊處理能力不足，長時間沒有回復給Spout模塊響應信息時，Spout模塊即認為當前這批數據處理失敗，進而會重新發送這批數據，這樣也會導致數據在Bolt模塊堆積越來越多，若超過Bolt模塊的處理能力時，會降低數據處理性能。

發明內容

本發明實施例提供一種數據處理系統和數據處理的方法，能夠提高數據處理性能。

第一方面，提供了一種數據處理系統。該數據處理系統包括發送模塊，處理模塊，狀態監控模塊和策略調整模塊；該發送模塊，用于向該處理模塊發送數據；該處理模塊，用于處理該發送模塊發送的該數據；該狀態監控模塊，用于確定該處理模塊的處理狀態信息，并向該策略調整模塊發送該處理狀態信息，該處理狀態信息用于指示該處理模塊處理該數據的處理能力；該策略調整模塊，用于根據該處理狀態信息，確定該發送模塊向該處理模塊發 送該數據的發送策略。

發送模塊向處理模塊發送數據，處理模塊接收到該數據后，對該數據進行相關業務處理，或者向后傳輸繼續處理。狀態監控模塊可以實時地監控處理模塊的處理狀態，并將處理模塊的處理狀態信息發送給策略調整模塊，該策略調整模塊能夠根據處理狀態信息調控發送模塊的發送模式。

因此，本發明實施例提供的數據處理系統，該數據處理系統中的狀態監控模塊能夠將處理模塊對當前數據的處理狀態反饋給發送模塊，策略調整模塊能夠根據當前數據的處理狀態確定該發送模塊的發送策略，避免現有技術中發送模塊無法感知處理模塊的處理狀態導致的數據的發送機制與處理模塊的處理能力不一致，從而提高了數據處理性能。

結合第一方面，在第一方面的第一種可能的實現方式中，該數據處理系統還包括：狀態跟蹤模塊，用于接收該處理模塊處理的該數據的處理結果信息，并向該策略調整模塊發送該處理結果信息；該策略調整模塊還用于：根據該處理結果信息，確定該處理模塊處理該數據失敗；根據該處理模塊處理該數據失敗，確定該發送模塊重新發送該數據。

狀態跟蹤模塊可以獲取每個數據經過處理模塊處理后的處理結果，并將每個數據的處理結果發送給策略調整模塊。例如，可以將發送模塊要發送的數據看作一個數據集合，第一數據為數據集合中的任意一個數據，該第一數據經過處理模塊處理后，狀態跟蹤模塊也會將該第一數據的處理結果信息發送給策略調整模塊。若該處理模塊處理該第一數據失敗后，該策略調整模塊就會收到該第一數據的處理失敗信息；或者，超過預先設定的時間閾值，策略調整模塊仍然沒有收到該第一數據的處理結果信息，則策略調整模塊認為該第一數據處理失敗。這時，策略調整模塊可以觸發發送模塊重新發送該第一數據，從而提高了處理數據的準確性。

結合第一方面或第一方面的第一種可能的實現方式，在第一方面的第二種可能的實現方式中，該策略調整模塊具體用于：根據該處理狀態信息，確定該發送模塊向該處理模塊發送該數據的發送速率。

策略調整模塊接收到狀態監控模塊反饋的處理模塊的處理狀態信息，可以實時調整發送模塊的發送策略。例如，若策略調整模塊根據處理狀態信息可以獲知處理模塊的處理能力很強，而數據量太小時，策略調整模塊可以增大發送模塊發送數據的速率；若策略調整模塊根據處理狀態信息獲知處理模 塊的處理能力很弱，且數據出現堆積時，策略調整模塊可以調整發送模塊減小發送數據的速率，甚至還可以暫時停止發送模塊發送數據，從而提高了數據處理的效率。

結合第一方面及第一方面的第一種可能的實現方式和第一方面的第二種可能的實現方式中的任一種可能的實現方式，在第一方面的第三種可能的實現方式中，該策略調整模塊具體用于：根據該處理狀態信息，確定該發送模塊發送該數據所需連接該處理模塊的數目。