[發明專利]大規模并行計算系統中的網絡傳輸自適應優化方法及系統

有效

• 申請號: 201110393703.1
• 申請日: 2011-12-01
• 公開（公告）號: CN103139265A
• 公開（公告）日: 2013-06-05
• 發明（設計）人: 張躍;林海波;鄭凱;李嚴
• 申請（專利權）人: 國際商業機器公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 鮑進

1.一種大規模并行計算系統中的網絡傳輸自適應優化方法，所述方法包括：

基于獲得的關于計算節點所執行的任務的信息形成要經由網絡傳輸的消息，其中所述消息包括要進行數據傳輸的計算節點和對應的匯總節點的標識信息以及所述計算節點要傳送給所述對應的匯總節點的數據量；

將所述消息發送到網絡層；以及

根據接收到的消息，為所述計算節點和所述對應的匯總節點之間的數據傳輸形成新的數據傳輸模式。

2.根據權利要求1所述的網絡傳輸自適應優化方法，其中所述為所述計算節點和所述對應的匯總節點之間的數據傳輸形成新的數據傳輸模式包括：

根據所述網絡層的網絡信息和所述接收到的消息，確定是否要調整所述匯總節點的位置；以及

如果確定要調整所述匯總節點的位置，用重新選擇的匯總節點替換所述消息中的匯總節點。

3.根據權利要求2所述的網絡傳輸自適應優化方法，其中所述用重新選擇的匯總節點替換所述消息中的匯總節點包括：

從最優選的所選匯總節點開始以此替換所述消息中的匯總節點，在被替換的匯總節點的數據量達到最優選的所選匯總節點的容量時，用次優選的所選匯總節點繼續替換所述消息中的匯總節點。

4.根據權利要求2所述的網絡傳輸自適應優化方法，其中所述確定是否要調整所述匯總節點的位置包括：

計算匯總節點在所述大規模并行計算系統中可能所處的每一個位置到所有計算節點的距離之和；

從距離最小的可能位置開始依次選取所需數量的位置作為所述匯總節點所處的位置，以及

如果所選的位置與所述消息中包括的匯總節點標識信息指示的位置不同，則確定需要調整。

5.根據權利要求4所述的網絡傳輸自適應優化方法，其中所述距離之和是使用數據量對距離進行加權之后的加權和。

6.根據權利要求3所述的網絡傳輸自適應優化方法，其中所述消息還包括所述任務的任務屬性，所述任務屬性指示所述任務是否要求多播，并且

其中所述方法還包括：

如果所述消息指示所述任務要求多播，則所述網絡引擎針對每一個計算節點和全部匯總節點設定多播組。

7.根據權利要求1所述的網絡傳輸自適應優化方法，其中所述為所述計算節點和所述對應的匯總節點之間的數據傳輸形成新的數據傳輸模式包括：

根據所述網絡層的網絡信息和所述接收到的消息，重新選擇所述計算節點和所述對應的匯總節點之間的數據傳輸路徑。

8.根據權利要求7所述的網絡傳輸自適應優化方法，其中所述重新選擇所述計算節點和所述對應的匯總節點之間的數據傳輸路徑包括：

使用所述數據量作為負載來標記所述消息中的所述計算節點和所述對應的匯總節點之間的每一條鏈路；

基于所獲取的網絡信息給每一條鏈路計算負載的加權值；以及

基于所述負載的加權值來選擇所述計算節點和所述對應的匯總節點之間的數據傳輸路徑。

9.根據權利要求8所述的網絡傳輸自適應優化方法，其中所述負載的加權值是通過所獲取的網絡信息中指示的當前鏈路負載與為鏈路標記的負載和帶寬的比值之和來計算的。

10.根據權利要求8所述的網絡傳輸自適應優化方法，還包括：

如果所述消息指示所述任務需要多播，則建立所述消息中指示的每一個計算節點到所有匯總節點的多播樹；以及

針對多播樹，執行所述數據傳輸路徑的重新選擇。

11.根據權利要求8所述的網絡傳輸自適應優化方法，其中所述選擇所述計算節點和所述對應的匯總節點之間的數據傳輸路徑還基于所述計算節點和所述對應的匯總節點之間的最短路徑。

12.根據權利要求1所述的網絡傳輸自適應優化方法，還包括：

判斷所述任務是否是網絡密集型任務；以及

如果所述任務不是網絡密集型任務，則忽略所述任務，從而忽略關于所述任務的信息。