[發明專利]數據處理系統、方法、裝置、電子設備和存儲介質

在審

• 申請號: 202010986270.X
• 申請日: 2020-09-18
• 公開（公告）號: CN112118315A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 吳海濤;王碩
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/935
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 安偉

1.一種數據處理系統，其特征在于，包括：

數據源設備和分布式集群；其中，所述分布式集群中包括至少兩個節點；

所述數據源設備，用于基于預設數據分片分發策略，將數據分片發送至所述分布式集群中與所述數據分片對應的第一節點；

所述第一節點，用于在接收到所述數據分片后，對所述數據分片進行預處理，并將預處理之后的數據分片發送至業務處理設備。

2.根據權利要求1所述的系統，其特征在于，所述第一節點還用于：

向所述數據源設備發送數據訂閱請求；其中，所述數據訂閱請求用于請求為所述第一節點建立與數據分片的對應關系。

3.根據權利要求1所述的系統，其特征在于，所述系統還包括管理設備，用于：

獲取所述第一節點的運行信息，并且基于所述運行信息確定所述第一節點的運行狀態；

如果確定所述第一節點為異常運行狀態，則從所述分布式集群中為所述第一節點確定運行狀態正常的第二節點，并將所述第一節點與所述第二節點的對應關系發送至所述數據源設備；

相應的，所述數據源設備，還用于基于所述第一節點與所述第二節點的對應關系，建立所述第一節點對應的目標數據分片與所述第二節點的對應關系，并刪除所述第一節點與所述目標數據分片的對應關系。

4.根據權利要求3所述的系統，其特征在于，所述管理設備還用于：

在確定所述第一節點為異常運行狀態之后，向所述分布式集群中除去所述第一節點外的剩余節點，發送所述第一節點的節點異常事件；

相應的，所述剩余節點，用于確定所述節點異常事件的接收時間，并在預設時間間隔之后，向所述管理設備發送接管請求；其中，所述預設時間間隔是以所述節點異常事件的接收時間作為時間起點；

所述管理設備，具體用于根據對所述接管請求的接收時間，從所述剩余節點中，為所述第一節點確定所述第二節點。

5.根據權利要求4所述的系統，其特征在于，所述剩余節點還用于：

在接收到所述節點異常事件之后，確定與本機節點存在對應關系的異常節點數量；

如果確定所述異常節點數量小于數量閾值，則在所述預設時間間隔之后，向所述管理設備發送所述接管請求。

6.根據權利要求1所述的系統，其特征在于，所述分布式集群中的節點具體用于：

通過調用消息中間件，將所述預處理之后的數據分片發送至所述業務處理設備。

7.根據權利要求1所述的系統，其特征在于，所述預處理至少包括以下之一：數據解析、數據組裝、數據關聯和數據篩選。

8.一種數據處理方法，其特征在于，應用于分布式集群中的節點，所述方法包括：

接收數據源設備發送的數據分片；其中，所述數據分片由所述數據源設備基于預設數據分片分發策略發送；

對所述數據分片進行預處理，并將預處理之后的數據分片發送至業務處理設備。

9.根據權利要求8所述的方法，其特征在于，所述方法還包括：

向管理設備發送本機節點的運行信息；

其中，所述運行信息用于所述管理設備確定所述本機節點的運行狀態，并使得所述管理設備確定本機節點為異常運行狀態后，從所述分布式集群中為所述本機節點確定運行狀態正常的節點。

10.一種數據處理方法，其特征在于，應用于數據源設備，所述方法包括：

對源數據進行分片處理，得到數據分片；

基于預設數據分片分發策略，將所述數據分片發送至分布式集群中與所述數據分片對應的第一節點；

其中，所述第一節點用于在接收到所述數據分片后，對所述數據分片進行預處理，并將預處理之后的數據分片發送至業務處理設備。