[發明專利]一種分布式并行計算方法以及系統

有效

• 申請號: 201210392872.8
• 申請日: 2012-10-16
• 公開（公告）號: CN103729257A
• 公開（公告）日: 2014-04-16
• 發明（設計）人: 彭淵
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

技術領域

本申請涉及計算機信息技術領域，尤指一種分布式并行計算方法以及系統。

背景技術

目前，單臺計算機已經無法高效地執行海量數據處理、復雜算法等等計算，為了提高計算效率，通常的做法是將多臺計算機集群在一起進行分布式并行計算。

Hadoop是目前非常著名的開源分布式并行計算框架，實現了谷歌(Google）提出的映射（map）/簡化（reduce）計算模型，同時包含一個分布式文件系統（HDFS）來提供并行計算支持。map/reduce計算模型在對原始數據執行計算時，首先將原始數據以行為單位進行拆分，生成鍵（Key）/值（Value）對，所有Key/Value對都保存在HDFS中，然后將具有相同Key的Key/Value對合并得到最終計算結果，這種計算模型的適用范圍非常有限，僅僅適用于原始數據能夠以行為單位進行拆分和合并的應用場景，對于很多復雜、靈活的分布式計算場景卻無能為力。

事實上，Hadoop并不是為了提供能夠快捷、靈活地應用于各種計算場景的并行計算框架，它的map/reduce更傾向于提供數據查詢的方式，能夠適用的應用場景非常有限，而目前尚未有能夠靈活、快捷地應用于各種應用場景的分布式并行計算方法。

發明內容

本申請實施例提供一種分布式并行計算方法以及系統，用以實現能夠靈活、快捷地應用于各種應用場景的分布式并行計算方法。

一種分布式并行計算方法，包括：

總協調設備將獲取的待執行任務拆分為至少一個子任務并對拆分的子任務排序，從預置的至少兩個調度設備中為每個子任務選取一個調度設備，將選取的調度設備按照拆分后的子任務的順序排序后得到選定調度設備鏈，將原始數據信息傳遞給所述選定調度設備鏈中的第一個調度設備；

所述選定調度設備鏈中的每個調度設備根據獲取的子任務，從已在聯絡設備注冊的計算設備中選取可執行獲取的子任務的至少兩個計算設備；以及

接收上一個調度設備傳遞的計算結果信息作為待處理數據信息，將獲取的子任務和待處理數據信息分配給選取的至少兩個計算設備，接收選取的至少兩個計算設備執行完獲取的子任務得到的計算結果信息，并傳遞給下一個調度設備；

其中，所述第一個調度設備將接收到的所述總協調設備傳遞的原始數據信息作為待處理數據信息，所述選定調度設備鏈中的最后一個調度設備將計算結果信息傳遞給所述總協調設備。

一種分布式并行計算系統，包括總協調設備、預置的至少兩個調度設備、聯絡設備和至少兩個計算設備，所述總協調設備與所述預置的至少兩個調度設備通信連接，所述至少計算設備與所述聯絡設備通信連接，所述預置的至少兩個調度設備與所述至少兩個計算設備通信連接，其中：

所述總協調設備，用于將獲取的待執行任務拆分為至少一個子任務并對拆分的子任務排序，從所述預置的至少兩個調度設備中為每個子任務選取分配一個調度設備，將選取的調度設備按照拆分后的子任務的順序排序后得到選定調度設備鏈，將原始數據信息傳遞給所述選定調度設備鏈中的第一個調度設備；

所述聯絡設備，用于對計算設備進行注冊；

所述選定調度設備鏈中的每個調度設備，用于根據獲取的子任務，從已在聯絡設備注冊的計算設備中選取可執行獲取的子任務的至少兩個計算設備；以及接收上一個調度設備傳遞的計算結果信息作為待處理數據信息，將獲取的子任務和待處理數據信息分配給選取的至少兩個計算設備，接收選取的至少兩個計算設備執行完獲取的子任務得到的計算結果信息，并傳遞給下一個調度設備；其中，所述第一個調度設備將接收到的所述總協調設備傳遞的原始數據信息作為待處理數據信息，所述選定調度設備鏈中的最后一個調度設備將計算結果信息傳遞給所述總協調設備；

每個調度設備選取的至少兩個計算設備，用于獲取分配的待處理數據信息和子任務，并執行獲取的子任務。