[發明專利]分布式計算方法和裝置

有效

• 申請號: 201310337312.7
• 申請日: 2013-08-05
• 公開（公告）號: CN103399927B
• 公開（公告）日: 2016-11-02
• 發明（設計）人: 張健;葉青
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/44
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成;張大威

1.一種分布式計算方法，其特征在于，包括以下步驟：

根據輸入數據生成輸入向量Vector；

獲取預設算子和所述預設算子對所述Vector的依賴關系；以及

通過映射模塊Map組織多次map計算直至達到所述預設算子的終止條件為止，其中，每次map計算時根據所述依賴關系從所述Vector中獲取數據以根據所述預設算子進行計算，并根據計算結果更新所述Vector中對應的數據。

2.根據權利要求1所述的方法，其特征在于，所述每次map計算時根據所述依賴關系從所述Vector中獲取數據以根據所述預設算子進行計算，具體包括：

在每次計算時通過所述Map根據所述依賴關系獲取所述預設算子在所述Vector中對應的至少部分輸入數據，并根據所述預設算子對所述至少部分輸入數據進行計算。

3.根據權利要求1或2所述的方法，其特征在于，還包括：

創建全局向量Var，其中，所述Var存儲全局性的統計數據。

4.根據權利要求1-3任一項所述的方法，其特征在于，還包括：

通過Emit接口將計算結果倒入至目的向量Vector/Var中。

5.根據權利要求1或2所述的方法，其特征在于，所述Vector分布式存儲所述輸入數據。

6.根據權利要求5所述的方法，其特征在于，所述Vector包括多個分割區Partition，每個所述Partition分別對應一個計算節點，每個所述Partition包括多個子節點SubNode。

7.根據權利要求6所述的方法，其特征在于，每個所述SubNode分別對應一個進程緩存，每個所述進程緩存分別對應一個線程緩存，以使得數據的傳遞方向為所述線程緩存、所述進程緩存至所述SubNode。

8.一種分布式計算裝置，其特征在于，包括：

生成模塊，用于根據輸入數據生成輸入向量Vector；

獲取模塊，用于獲取預設算子和所述預設算子對所述Vector的依賴關系；以及

計算模塊，用于通過映射模塊Map組織多次map計算直至達到所述預設算子的終止條件為止，其中，每次map計算時根據所述依賴關系從所述Vector中獲取數據以根據所述預設算子進行計算，并根據計算結果更新所述Vector中對應的數據。

9.根據權利要求8所述的裝置，其特征在于，所述計算模塊還具體用于在每次計算時通過所述Map根據所述依賴關系獲取所述預設算子在所述Vector中對應的至少部分輸入數據，并根據所述預設算子對所述至少部分輸入數據進行計算。

10.根據權利要求8或9所述的裝置，其特征在于，所述生成模塊還用于創建全局向量Var，其中，所述Var存儲全局性的統計數據。

11.根據權利要求8-10任一項所述的裝置，其特征在于，所述計算模塊還用于通過Emit接口將計算結果倒入至目的向量Vector/Var中。

12.根據權利要求8或9所述的裝置，其特征在于，所述Vector分布式存儲所述輸入數據。

13.根據權利要求12所述的裝置，其特征在于，所述Vector包括多個分割區Partition，每個所述Partition分別對應一個計算節點，每個所述Partition包括多個子節點SubNode。

14.根據權利要求13所述的裝置，其特征在于，每個所述SubNode分別對應一個進程緩存，每個所述進程緩存分別對應一個線程緩存，以使得數據的傳遞方向為所述線程緩存、所述進程緩存至所述SubNode。