[發明專利]分布式計算處理方法及裝置

有效

• 申請號: 201410020598.0
• 申請日: 2014-01-16
• 公開（公告）號: CN104794095B
• 公開（公告）日: 2018-09-07
• 發明（設計）人: 吳百鋒;封澤希
• 申請（專利權）人: 華為技術有限公司;復旦大學
• 主分類號: G06F15/16
• 分類號: G06F15/16;G06F9/50
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 劉芳

1.一種分布式計算處理方法，其特征在于，包括：

讀取分布式程序，所述分布式程序包括節點語法和管道語法；

根據所述分布式程序獲取節點構造信息和管道構造信息；

根據所述節點構造信息和所述管道構造信息將所述分布式程序的節點分配給集群中執行所述節點的計算機；

根據所述節點構造信息和所述管道構造信息將管道通信過程轉換成兼容所述管道兩端節點的應用程序編程接口API的通信過程；

將所述節點的源代碼編譯成對應計算機上的可執行程序，分配到所述對應計算機上執行。

2.根據權利要求1所述的方法，其特征在于，所述根據所述分布式程序獲取節點構造信息和管道構造信息，包括：

從所述分布式程序中識別節點聲明語法、管道聲明語法，查找所述節點聲明語法中的聲明節點的關鍵字和所述管道聲明語法中聲明管道的關鍵字；

根據所述聲明節點的關鍵字將節點信息添加到節點信息表中以獲取節點構造信息；

根據所述節點構造信息對所述節點信息表中兩個節點的管道連接進行賦值以獲取管道構造信息。

3.根據權利要求2所述的方法，其特征在于，所述根據所述節點構造信息和所述管道構造信息將所述分布式程序的節點分配給集群中執行所述節點的計算機之前，還包括：

獲取所述集群中計算機的配置信息；

所述根據所述節點構造信息和所述管道構造信息將所述分布式程序的節點分配給執行所述節點的計算機，包括：

根據所述節點構造信息和所述管道構造信息將所述分布式程序的節點按照硬件資源類型進行分類；

根據所述集群中計算機的配置信息為每臺計算機生成相應的分布式程序的模板；

根據所述節點的硬件資源類型將所述節點填寫到對應計算機的分布式程序的模板中。

4.根據權利要求3所述的方法，其特征在于，所述獲取所述集群中計算機的配置信息，包括：

查詢本機的配置信息并存儲于集群配置列表中，所述本機為所述集群計算機中的主機；

獲取所述集群中其它計算機的配置信息并存儲于集群配置列表中；或者，

查詢本機的配置信息并存儲于集群配置列表中；

向所述集群計算機的主機發送所述本機的配置信息。

5.根據權利要求4所述的方法，其特征在于，所述節點構造信息包括所述節點信息表和節點源代碼；則所述根據所述節點構造信息和所述管道構造信息將所述分布式程序的節點按照硬件資源類型進行分類，包括：

根據所述節點信息表、所述節點源代碼和所述管道構造信息對所述節點采用資源分配算法按照所需硬件資源類型進行分類。

6.根據權利要求5所述的方法，其特征在于，所述資源分配算法包括：

構建并初始化資源類型列表和資源項目列表，所述資源類型列表包括所述集群中計算機和所述計算機的資源類型，所述資源項目列表包括與所述資源類型列表中所述計算機對應的身份標識符ID、資源數量totalN和可執行節點的資源數量avaN；

選擇初始節點并判斷所述初始節點對應計算機的資源類型，從所述資源類型列表中選擇對應所述計算機的資源項目；

檢查所述初始節點對應的資源項目列表中的所述avaN不為0時，將所述資源項目列表中當前ID對應的計算機的內核分配給所述初始節點，并將所述計算機的avaN減1，在所述avaN減至0時開始分配資源項目列表中下一個計算機的資源。

7.根據權利要求3所述的方法，其特征在于，所述計算機的分布式程序的模板包括使用消息傳遞接口MPI通信方式或使用套接字Socket通信方式。

8.根據權利要求7所述的方法，其特征在于，所述根據所述節點構造信息和所述管道構造信息將管道通信過程轉換成兼容所述管道兩端節點的應用程序編程接口API的通信過程，包括：

根據所述管道兩端節點所填寫的模板類型和所述集群中計算機的配置信息為所述管道選擇對應的通信協議和端口號；

將所述管道通信過程轉換成進程間通信過程或網絡通信過程。