[發明專利]數據處理系統、方法、裝置、電子設備和存儲介質

在審

• 申請號: 202010986270.X
• 申請日: 2020-09-18
• 公開（公告）號: CN112118315A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 吳海濤;王碩
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/935
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 安偉

本公開實施例涉及一種數據處理系統、方法、裝置、電子設備和存儲介質，其中，該數據處理系統包括：數據源設備和分布式集群；其中，分布式集群中包括至少兩個節點；數據源設備，用于基于預設數據分片分發策略，將數據分片發送至分布式集群中與數據分片對應的第一節點；第一節點，用于在接收到數據分片后，對數據分片進行預處理，并將預處理之后的數據分片發送至業務處理設備。本公開實施例減少了短時間內傳輸至業務處理設備的數據量，即針對數據高并發的業務場景，分布式集群實現了對數據源設備和業務處理設備之間全量數據傳輸的削峰作用，減少了對業務處理設備的資源占用，進而提升了業務處理設備中的業務處理性能。

技術領域

本公開涉及計算機技術領域，尤其涉及一種數據處理系統、方法、裝置、電子設備和存儲介質。

背景技術

目前，在互聯網業務開發中，經常存在數據源端和業務端之間需要實時傳輸大量數據的場景。例如，針對任一應用程序，用戶的登錄日志和用戶的行為數據等，數據量級通常在每秒鐘萬級別甚至更高。

如果業務端在短時間內接收的數據量過大，必然會占用業務端的大量軟硬件資源，甚至影響業務端的正常業務處理進程，導致服務異常。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本公開實施例提供了一種數據處理系統、方法、裝置、電子設備和存儲介質。

第一方面，本公開實施例提供了一種數據處理系統，包括：

數據源設備和分布式集群；其中，所述分布式集群中包括至少兩個節點；

所述數據源設備，用于基于預設數據分片分發策略，將數據分片發送至所述分布式集群中與所述數據分片對應的第一節點；

所述第一節點，用于在接收到所述數據分片后，對所述數據分片進行預處理，并將預處理之后的數據分片發送至業務處理設備。

第二方面，本公開實施例還提供了一種數據處理方法，應用于分布式集群中的節點，所述方法包括：

接收數據源設備發送的數據分片；其中，所述數據分片由所述數據源設備基于預設數據分片分發策略發送；

對所述數據分片進行預處理，并將預處理之后的數據分片發送至業務處理設備。

第三方面，本公開實施例還提供了一種數據處理方法，應用于數據源設備，所述方法包括：

對源數據進行分片處理，得到數據分片；

基于預設數據分片分發策略，將數據分片發送至分布式集群中與所述數據分片對應的第一節點；

其中，所述第一節點用于在接收到所述數據分片后，對所述數據分片進行預處理，并將預處理之后的數據分片發送至業務處理設備。

第四方面，本公開實施例還提供了一種數據處理裝置，配置于分布式集群中的節點，所述裝置包括：

數據接收模塊，用于接收數據源設備發送的數據分片；其中，所述數據分片由所述數據源設備基于預設數據分片分發策略發送；

數據發送模塊，用于對所述數據分片進行預處理，并將預處理之后的數據分片發送至業務處理設備。

第五方面，本公開實施例還提供了一種數據處理裝置，配置于數據源設備，所述裝置包括：

分片處理模塊，用于對源數據進行分片處理，得到數據分片；

分片發送模塊，用于基于預設數據分片分發策略，將所述數據分片發送至分布式集群中與所述數據分片對應的第一節點；

其中，所述第一節點用于在接收到所述數據分片后，對所述數據分片進行預處理，并將預處理之后的數據分片發送至業務處理設備。