[發明專利]分布式計算處理方法及裝置

有效

• 申請號: 201410020598.0
• 申請日: 2014-01-16
• 公開（公告）號: CN104794095B
• 公開（公告）日: 2018-09-07
• 發明（設計）人: 吳百鋒;封澤希
• 申請（專利權）人: 華為技術有限公司;復旦大學
• 主分類號: G06F15/16
• 分類號: G06F15/16;G06F9/50
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉芳

本發明實施例提供一種分布式計算處理方法及裝置。本發明提供的分布式計算處理方法，包括：讀取分布式程序，分布式程序包括節點語法和管道語法；根據分布式程序獲取節點構造信息和管道構造信息；根據節點構造信息和管道構造信息將分布式程序的節點分配給集群中執行所述節點的計算機；根據所述節點構造信息和所述管道構造信息將管道通信過程轉換成兼容所述管道兩端節點的應用程序編程接口API的通信過程；將所述節點編譯成對應計算機上的可執行程序，分配到所述對應計算機上執行。本發明實施例解決現有技術中的分布式計算方法，任務分解的過程具有較大的隨意性，導致任務分解與集群計算機軟硬件配置不匹配的問題，提高了數據傳輸的效率。

技術領域

本發明實施例涉及計算機技術，尤其涉及一種分布式計算處理方法及裝置。

背景技術

隨著計算規模的擴大和發展，目前主要以分布式計算應用于大規模、高性能的計算領域，分布式計算是指在兩個或多個軟件互相共享信息，這些軟件既可以在同一臺計算機上運行，也可以在通過網絡連接起來的多臺計算機上運行。

目前通常使用的基于消息傳遞接口（Message Passing Interface，簡稱為：MPI）的分布式計算方式，即是指把一個需要非常巨大的計算能力才能解決的任務分解成許多小的部分，然后把這些部分分配給許多計算機進行處理，最后把這些計算結果綜合起來得到最終的結果；由于分布式計算具有超強的計算能力、高速訪存帶寬、支持大規模數據級并行程序設計等特點，圖形處理器（Graphic Processing Unit，簡稱為：GPU）已經成為超級計算機和高性能計算（High Performance Computing，簡稱為：HPC）集群的主流加速器，相應地，需要將被分解的任務分配給集群中可以實現該任務的硬件處理器對應的計算機中。

現有技術中采用的分布式計算方法，任務分解的過程具有較大的隨意性，導致任務分解與集群計算機軟硬件配置不匹配的問題。

發明內容

本發明實施例提供一種分布式計算處理方法及裝置，以解決現有技術中采用的分布式計算方法，任務分解的過程具有較大的隨意性，導致任務分解與集群計算機軟硬件配置不匹配的問題。

第一方面，本發明實施例提供一種分布式計算處理方法，包括：

讀取分布式程序，所述分布式程序包括節點語法和管道語法；

根據所述分布式程序獲取節點構造信息和管道構造信息；

根據所述節點構造信息和所述管道構造信息將所述分布式程序的節點分配給集群中執行所述節點的計算機；

根據所述節點構造信息和所述管道構造信息將管道通信過程轉換成兼容所述管道兩端節點的應用程序編程接口API的通信過程；

將所述節點編譯成對應計算機上的可執行程序，分配到所述對應計算機上執行。

在第一方面的第一種可能實現方式中，所述根據所述分布式程序獲取節點構造信息和管道構造信息，包括：

從所述分布式程序中識別節點聲明語法管道聲明語法，查找所述節點聲明語法中的聲明節點的關鍵字和所述管道聲明語法中聲明管道的關鍵字；

根據所述聲明節點的關鍵字將節點信息添加到節點信息表中以獲取節點構造信息；

根據所述節點構造信息對所述節點信息表中兩個節點的管道連接進行賦值以獲取管道構造信息。

根據第一方面的第一種可能的實現方式，在第二種可能的實現方式中，所述根據所述節點構造信息和所述管道構造信息將所述分布式程序的節點分配給集群中執行所述節點的計算機之前，還包括：

獲取所述集群中計算機的配置信息；

所述根據所述節點構造信息和所述管道構造信息將所述分布式程序的節點分配給執行所述節點的計算機，包括：