[發明專利]數據處理方法、裝置和系統

有效

• 申請號: 201210263936.4
• 申請日: 2012-07-27
• 公開（公告）號: CN102821042A
• 公開（公告）日: 2012-12-12
• 發明（設計）人: 吳聿旻;許慧鋒;郭海濤
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L12/56
• 分類號: H04L12/56
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉芳

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置和系統。

背景技術

在現有的數據處理中，通常需要將分散的數據進行匯聚，匯聚到統一的計算節點進行處理，根據各計算節點處理的數據類型的不同，可以設置多個計算節點。

現有技術在具體的實施過程中，需要將各種類型的數據進行匯聚，完成上述數據匯聚功能的數據匯聚裝置被稱為業務通道匯聚框，即IO框，該IO框起數據匯聚作用。IO框從不同通道接收不同數據并轉發給計算節點，計算節點需要消耗大量的資源進行數據處理，這會嚴重影響各計算節點的性能。

發明內容

本發明實施例提供一種數據處理方法、裝置和系統，實現對數據進行預處理，分擔計算節點的處理壓力，有效防止計算節點的數據的擁塞。

本發明實施例提供一種數據處理方法，包括：

數據處理裝置接收數據中心發送的第一數據上報報文，所述第一數據上報報文中攜帶發送給計算節點的數據；

所述數據處理裝置從所述第一數據上報報文中獲取所述數據，對所述數據進行預處理；

所述數據處理裝置將預處理后的數據發送給所述計算節點。

本發明實施例還提供一種數據處理裝置，包括：

第一接收模塊，用于接收數據中心發送的第一數據上報報文，所述第一數據上報報文中攜帶發送給計算節點的數據；

預處理模塊，用于從所述第一數據上報報文中獲取所述數據，并對所述數據進行預處理；

第一發送模塊，用于將預處理后的數據發送給所述計算節點

本發明實施例還提供一種數據處理系統，包括：上述數據處理裝置以及計算節點，計算節點用于接收所述數據處理裝置發送的第二數據上報報文，對所述第二數據上報報文進行處理。

本發明實施例提供的數據處理方法、裝置和系統，通過對數據中心發送的數據進行預處理，分擔了計算節點的處理壓力，能夠有效防止在計算節點發生數據擁塞。

附圖說明

圖1為本發明實施例一的數據處理方法的流程示意圖；

圖2為本發明實施例二的數據處理方法的流程示意圖；

圖3為本發明實施例三的數據處理方法的流程示意圖；

圖4為本發明實施例一的數據處理裝置的結構示意圖；

圖5位本發明實施例二的數據處理裝置的結構示意圖；

圖6為本發明數據處理系統實施例的結構示意圖。

具體實施方式

圖1為本發明實施例一的數據處理方法的流程示意圖。如圖1所示，該數據處理方法包括：

步驟S101：數據處理裝置接收數據中心發送的第一數據上報報文，第一數據上報報文中攜帶發送給計算節點的數據。

其中，數據中心例如是：服務器集群、數據采集系統的計算節點群等。數據匯聚裝置，如IO框，將數據中心發送的數據報文進行匯聚，數據處理裝置接收來自數據中心發送的經匯聚的數據報文，即第一數據上報報文，該第一數據上報報文攜帶有需要發給計算節點的數據。計算節點用于接收預處理后的數據，并經過內部基本數據處理操作，得到結果數據。在下面各實施例中使用的數據中心的含義與這里使用的含義相同，不再贅述。

步驟S102：數據處理裝置從第一數據上報報文中獲取數據，對該數據進行預處理。

數據處理裝置從第一數據上報報文中獲取需要發送給計算節點的數據，并對該數據進行數據清理、數據集成、數據變換、數據規約等，即對數據進行預處理。

步驟S103：數據處理裝置將預處理后的數據發送給計算節點。

將預處理后的數據發送給計算節點，由計算節點中的CPU對預處理后的數據進行處理。

本發明實施例中，數據匯聚裝置，如IO框，與數據處理裝置可以集成為一體，即數據處理裝置進行數據報文匯聚的同時具有數據預處理功能，數據處理裝置也可以如本實施例中所示，為獨立裝置。無論哪種實現方式，只是形式上的差異，并不會導致本發明方案的實質性變化。

本實施例提供的數據處理方法，分擔了計算節點的處理壓力，能夠起到有效防止在計算節點數據擁塞的作用。

圖2為本發明實施例二的數據處理方法的流程示意圖。如圖2所示，該數據處理的步驟包括：

S201：從數據處理裝置的第一物理接口接收數據中心發送的第一數據上報報文，該第一物理接口與所述第一數據上報報文的協議類型對應，用于傳輸第一數據上報報文。