[發明專利]數據包傳輸方法和裝置

有效

• 申請號: 201310064524.2
• 申請日: 2013-02-28
• 公開（公告）號: CN104023039B
• 公開（公告）日: 2018-02-02
• 發明（設計）人: 李嚴;鄭凱;李劍;陳冠誠;李欣
• 申請（專利權）人: 國際商業機器公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/951
• 代理公司: 北京市金杜律師事務所11256
• 代理人: 酆迅,李崢宇

技術領域

本發明是涉及數據傳輸，更具體而言，涉及一種改善了的數據包傳輸方法和裝置。

背景技術

當前，計算機網絡越來越普及，并且計算機網絡的規模仍在日益擴大。在當前的計算機網絡中有數十萬臺服務器以及存儲器。

為了在這種計算機網絡中執行大規模任務，諸如大數據集合的計算，已經提出了一種分布式的并行計算架構。在使用這種并行計算架構的計算系統中，通常包括一個主控節點、一個或多個計算節點和一個或多個匯總節點。主控節點將大規模數據計算任務劃分為多個規模較小的子任務，確定用于執行任務的計算節點和匯總節點的個數及其位置等，并給每個子任務指定用于完成其的計算節點和匯總節點。計算節點接收并執行給其指定的子任務并將子任務執行完成通知給主控節點。計算節點根據主控節點的指示將中間數據發送給主控節點為其指定的匯總節點。匯總節點根據其從相應的計算節點接收到的中間結果進行適當的合并以獲得針對本次任務的計算結果。計算節點和匯總節點都是邏輯節點，其可以位于同一或不同的物理網絡節點上。

這種并行計算架構的一個典型例子是Google^TM公司于2004年發布的用于支持在計算機集群上對大數據集合進行分布式計算的軟件架構MapReduce。在MapReduce架構中也包括一個Master(即，主控節點)、一個或多個充當計算節點的Mapper(即，映射節點)和一個或多個充當匯總節點的Reducer。基于MapReduce架構的應用程序在運行時包括從Mapper到Reducer交換中間結果的數據傳輸(shuffle)階段。通常，一個Reducer要從多個Mapper取所需要的結果，一個Mapper的結果會被送給多個Reducer.。如果Mapper給每一個Reducer的結果比較大時，就會帶來大量的網絡傳輸。對于大規模的計算，可能會有上萬個Mapper，每個Mapper的結果可能為GB的量級，這樣就會有以T來計算的中間結果在網絡上傳輸，會對網絡造成巨大的壓力。對于這種由于中間結果巨大，并且其傳輸在整體執行時間上占據了明顯的比例的，可稱之為傳輸關鍵(shuffle critical)的計算機系統。對于這些傳輸關鍵的應用而言，中間結果的傳輸成為性能的瓶頸，特別是在數據傳輸很集中的場景下，會嚴重的影響效率。

由上可見，對于中間數據傳輸關鍵的應用來說，需要對其進行改進以提高數據傳輸的效率。

發明內容

根據本發明的一個方面，提供了一種用于計算節點的數據包發送方法，包括：確定具有相同目的地并且結構相同的多個常規數據包；確定所述多個常規數據包在匯總節點進行匯總運算的至少一個數據字段以及該數據字段的匯總運算類型；生成與所述多個常規數據包結構相同的先導數據包，在所述先導數據包中記載所確定的所述進行匯總運算的至少一個數據字段的位置信息以及該數據字段的匯總運算類型；在發送所述多個常規數據包之前發送所述先導數據包。

根據本發明的另一個方面，提供了一種用于交換機的數據包處理方法，包括：接收數據包，根據所述數據包中的類型字段確定數據包的類型；響應于所述數據包是先導數據包，解析該先導數據包以確定出與該先導數據包相對應的多個常規數據包之間進行匯總運算的至少一個數據字段以及該數據字段的匯總運算類型；確定出與所述先導數據包相對應的多個常規數據包；根據所述解析結果將所述多個常規數據包中進行合并；發送合并后的數據包以替換所述多個常規數據包。

根據本發明的第三個方面，提供了一種用于計算節點的數據包發送裝置，包括：數據包確定單元，配置為確定具有相同目的地并且結構相同的多個常規數據包；匯總運算確定單元，配置為確定所述多個常規數據包在匯總節點進行匯總運算的至少一個數據字段以及該數據字段的匯總運算類型；先導數據包生成單元，配置為生成與所述多個常規數據包結構相同的先導數據包，在所述先導數據包中記載所確定的所述進行匯總運算的至少一個數據字段的位置信息以及該數據字段的匯總運算類型；數據包發送單元，配置為在發送所述多個常規數據包之前發送所述先導數據包。