[發明專利]壓縮數據的方法、裝置和設備

有效

• 申請號: 201680057387.1
• 申請日: 2016-04-07
• 公開（公告）號: CN108141471B
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 顧雄禮;方磊;劉鵬;錢斌海
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 時林;毛威

提供一種壓縮數據的方法、裝置和設備，該方法在包括計算節點、管理節點和至少兩個壓縮節點的系統中執行，該方法包括：該管理節點在接收到該計算節點發送的壓縮請求時，確定該至少兩個壓縮節點中每個壓縮節點當前的工作狀態，該工作狀態包括空閑狀態和忙狀態；該管理節點根據每個壓縮節點當前的工作狀態，從該至少兩個壓縮節點中確定目標壓縮節點，該目標壓縮節點當前的工作狀態為空閑狀態；該管理節點發送處理指令消息，以使該目標壓縮節點對來自該計算節點的待壓縮數據進行壓縮處理。

技術領域

本發明涉及信息技術領域，并且更具體地，涉及壓縮數據的方法、裝置和設備。

背景技術

目前，數據壓縮技術已經廣泛應用于信息技術領域，例如，已知一種數據處理技術，通過計算(或者說，映射)設備(運行有用于計算處理的進程)進行計算處理，生成中間數據，并通過化簡(或者說，歸約)設備(運行有用于化簡的進程)對這些中間數據進行例如，匯總、化簡及歸并等處理。其中，“計算”也可以稱為“映射(Map)”，是指一些獨立元素組成的概念上的列表的每一個元素進行指定的操作。“化簡(Reduce)”也可以稱為“歸約”，指的是對一個列表的元素進行適當的合并。

在該數據處理技術中，由于化簡設備需要將計算設備的輸出作為輸入，因此，該中間數據需要在計算設備和化簡設備之間傳輸，因此，中間數據的數據量直接影響到系統的運行效率和處理性能。

通過數據壓縮技術，對該中間數據進行壓縮，能夠有效減小在計算設備和化簡設備之間傳輸的數據量，提高系統的運行效率和處理性能。

目前，上述壓縮是在計算設備中通過執行軟件來實現的，處理過程占用了計算設備大量的處理資源(例如，處理器)，在計算設備的處理資源較小的情況下，不僅導致壓縮速度較慢，而且大量的壓縮任務可能嚴重影響計算設備正常計算任務的進行，進而影響運行效率和處理性能。

發明內容

本發明實施例提供一種壓縮數據的方法、裝置和設備，能夠提高運行效率和處理性能。

第一方面，提供了一種壓縮數據的方法，在包括計算節點、管理節點和至少兩個壓縮節點的系統中執行，該壓縮節點用于對該計算節點生成的待壓縮數據進行壓縮處理以生成壓縮數據，該方法包括：該計算節點向該管理節點發送壓縮請求消息；該計算節點獲取該目標壓縮節點的指示信息，該目標壓縮節點的指示信息用于指示該目標壓縮節點該目標壓縮節點是該管理節點在接收到該壓縮請求消息時從該至少兩個壓縮節點中確定的，該目標壓縮節點當前的工作狀態為空閑狀態，該工作狀態包括空閑狀態和忙狀態；該計算節點根據該目標壓縮節點的指示信息，確定該目標壓縮節點；該計算節點與該目標壓縮節點傳輸第一待壓縮數據和第一壓縮數據，該第一壓縮數據是該目標壓縮節點對該第一待壓縮數據進行壓縮處理后生成的數據。

根據本發明實施例的壓縮數據的方法，通過設置壓縮節點和管理節點，能夠使計算節點在需要壓縮數據時，由管理節點選擇處于空閑狀態的壓縮節點為該計算節點提供壓縮服務，能夠減少計算節點的負擔，提高運行效率和處理性能。并且，通過設置管理節點，能夠實時掌握壓縮節點的工作狀態，避免壓縮節點出現運行錯誤，提高運行的可靠性。

結合第一方面，在第一方面的第一種實現方式中，在該計算節點中運行有生成該待壓縮數據的至少兩個計算進程，該第一待壓縮數據是該至少兩個計算進程中的第一計算進程生成的，以及該方法還包括：該計算節點禁止與該目標壓縮節點傳輸第二計算進程生成的第二待壓縮數據，該第二計算進程是該至少兩個計算進程中除該第一計算進程以外的計算進程。

根據本發明實施例的壓縮數據的方法，通過禁止除生成該第一待壓縮數據的第一計算進程以外的進程向目標壓縮節點傳輸數據，能夠避免壓縮節點將來自其他進程的數據返回至第一計算進程，進而避免數據誤傳輸，以及，避免該數據誤傳輸對第一計算進行的運行道正的影響，從而，能夠進一步提高運行效率和處理性能。