[發明專利]壓縮數據的方法、裝置和設備

有效

• 申請號: 201680057387.1
• 申請日: 2016-04-07
• 公開（公告）號: CN108141471B
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 顧雄禮;方磊;劉鵬;錢斌海
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 時林;毛威

1.一種壓縮數據的方法，其特征在于，在包括計算節點、管理節點和至少兩個壓縮節點的系統中執行，所述壓縮節點用于對所述計算節點生成的待壓縮數據進行壓縮處理以生成壓縮數據，所述方法包括：

所述管理節點在接收到所述計算節點發送的壓縮請求時，確定所述至少兩個壓縮節點中每個壓縮節點當前的工作狀態，所述工作狀態包括空閑狀態和忙狀態；

所述管理節點根據每個壓縮節點當前的工作狀態，從所述至少兩個壓縮節點中確定目標壓縮節點，所述目標壓縮節點當前的工作狀態為空閑狀態；

所述管理節點發送處理指令消息，以使所述目標壓縮節點對來自所述計算節點的待壓縮數據進行壓縮處理。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

所述管理節點確定每個壓縮節點的位置以及所述計算節點的位置；以及

所述管理節點根據每個壓縮節點當前的工作狀態，從所述至少兩個壓縮節點中確定目標壓縮節點，包括：

所述管理節點根據每個壓縮節點當前的工作狀態、所述計算節點的位置和每個壓縮節點的位置，確定所述目標壓縮節點，以使所述目標壓縮節點為當前的工作狀態為空閑狀態的壓縮節點中距離所述計算節點最近的壓縮節點。

3.根據權利要求2所述的方法，其特征在于，所述管理節點根據每個壓縮節點當前的工作狀態、所述計算節點的位置和每個壓縮節點的位置，確定所述目標壓縮節點，包括：

所述管理節點根據每個壓縮節點當前的工作狀態、所述計算節點的位置和每個壓縮節點的位置，生成備選壓縮節點列表，所述備選壓縮節點列表記錄有至少兩個備選壓縮節點的標識，所述備選壓縮節點為當前的工作狀態為空閑狀態的壓縮節點，其中，各所述備選壓縮節點的標識在所述備選壓縮節點列表中的排列順序與各所述備選壓縮節點至所述計算節點之間的距離的大小關系相對應；以及

所述管理節點根據各所述備選壓縮節點的標識在所述備選壓縮節點列表中的排列順序，從所述備選壓縮節點中，確定所述目標壓縮節點。

4.根據權利要求1至3中任一項所述的方法，其特征在于，所述管理節點發送處理指令消息，包括：

所述管理節點向所述計算節點發送第一處理指令消息，所述第一處理指令消息包括所述目標壓縮節點的指示信息，所述目標壓縮節點的指示信息用于指示所述目標壓縮節點，以便于所述計算節點根據所述第一處理指令消息，基于所述目標壓縮節點的指示信息，向所述目標壓縮節點發送所述待壓縮數據。

5.根據權利要求1至3中任一項所述的方法，其特征在于，所述管理節點發送處理指令消息，包括：

所述管理節點向所述目標壓縮節點發送第二處理指令消息，所述第二處理指令消息包括所述計算節點的指示信息，所述計算節點的指示信息用于指示所述計算節點，以便于所述目標壓縮節點根據所述第二處理指令消息，基于所述計算節點的指示信息，從所述計算節點獲取所述待壓縮數據。

6.根據權利要求1至3中任一項所述的方法，其特征在于，所述壓縮請求來自在所述計算節點運行的分布式計算Hadoop進程。

7.一種數據處理的裝置，其特征在于，配置在包括計算節點和至少兩個壓縮節點的系統中，所述壓縮節點用于對所述計算節點生成的待壓縮數據進行壓縮處理以生成壓縮數據，所述裝置包括：

接收單元，用于接收所述計算節點發送的壓縮請求；

確定單元，用于確定所述至少兩個壓縮節點中每個壓縮節點當前的工作狀態，所述工作狀態包括空閑狀態和忙狀態；并用于根據每個壓縮節點當前的工作狀態，從所述至少兩個壓縮節點中確定目標壓縮節點，所述目標壓縮節點當前的工作狀態為空閑狀態；

發送單元，用于發送處理指令消息，以使所述目標壓縮節點對來自所述計算節點的待壓縮數據進行壓縮處理。