[發明專利]一種面向分布式工作流的數據流調度方法和系統

有效

• 申請號: 201110253544.5
• 申請日: 2011-08-30
• 公開（公告）號: CN102289747A
• 公開（公告）日: 2011-12-21
• 發明（設計）人: 王桂玲;張鵬;劉晨;徐學輝;季光;韓燕波
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06Q10/00
• 分類號: G06Q10/00
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種面向分布式工作流的數據流的調度方法，包括：

10)對于運行時新產生數據是可移動數據的情況，確定新產生數據和現有數據集的協作關系的緊密程度；

20)根據新產生數據和現有數據集的協作關系的緊密程度，確定新產生數據和任一數據集存放庫的協作關系的緊密程度；

30)將新產生數據存儲在與之關系最緊密的數據集存放庫中。

2.根據權利要求1所述的調度方法，其特征在于，還包括：

40)計算活動到節點的預測數據流轉時間，將活動調度到預測數據流轉時間最短的節點。

3.根據權利要求1或2所述的調度方法，其特征在于，所述10)進一步包括：根據如下公式確定新產生數據和現有數據集的協作關系的緊密程度：

CP6j=Σdi∈PjC6i,]]>

其中，di為數據，Pj為任意現有數據集，C_6i＝Count{SA₆∩SAi}，SA6為依賴新產生數據的活動的集合，SAi為依賴數據di的活動的集合，Count表示集合中元素的個數。

4.根據權利要求3所述的調度方法，其特征在于，所述20)進一步包括：根據如下公式確定新產生數據和任一數據集存放庫的協作關系的緊密程度：

其中，Pj為數據集，Rt為任一數據集存放庫，k為Rt中數據集的個數。

5.根據權利要求1至4任一項所述的調度方法，其特征在于，所述步驟10)前還包括：

00)在運行前，對數據流進行初始調度。

6.根據權利要求5所述的調度方法，其特征在于，所述步驟00)進一步包括：

01)根據活動使用數據的次數確定活動和數據的依賴關系；

02)對于任意兩個數據，根據活動和數據的依賴關系確定依賴該兩個數據的活動的個數；

03)以依賴任意兩個數據的活動的個數為元素建立協作關系矩陣，進行協作關系矩陣的行列轉換以使相近的行列之間相互關系緊密；

04)將轉換后的協作關系矩陣分塊，使共同被任意活動使用的數據共存于一個子塊，將每個子塊對應的數據組成一個數據集；

05)將只包含可移動數據的數據集調度到使該數據集所需要的流轉時間最短的數據集存放庫。

7.一種面向分布式工作流的數據流的調度系統，包括：

新數據和數據集協作關系確定模塊，用于對于運行時新產生數據是可移動數據的情況，確定新產生數據和現有數據集的協作關系的緊密程度；

新數據和數據集存放庫協作關系確定模塊，用于根據新產生數據和現有數據集的協作關系的緊密程度，確定新產生數據和任一數據集存放庫的協作關系的緊密程度；

存儲模塊，用于將新產生數據存儲在與之關系最緊密的數據集存放庫中。

8.根據權利要求7所述的系統，其特征在于，還包括：

活動調度模塊，用于計算活動到節點的預測數據流轉時間，將活動調度到預測數據流轉時間最短的節點。

9.根據權利要求7或8所述的系統，其特征在于，還包括：

初始調度模塊，用于在運行前，對數據流進行初始調度。

10.根據權利要求9所述的系統，其特征在于，所述初始調度模塊進一步包括：

活動和數據依賴關系確定模塊，用于根據活動使用數據的次數確定活動和數據的依賴關系；

公共活動確定模塊，用于對于任意兩個數據，根據活動和數據的依賴關系確定依賴該兩個數據的活動的個數；

協作關系矩陣建立和轉換模塊，用于以依賴任意兩個數據的活動的個數為元素建立協作關系矩陣，進行協作關系矩陣的行列轉換以使相近的行列之間相互關系緊密；

協作關系矩陣分塊模塊，用于將轉換后的協作關系矩陣分塊，使共同被任意活動使用的數據共存于一個子塊，將每個子塊對應的數據組成一個數據集；

數據集裝載模塊，用于將只包含可移動數據的數據集調度到使該數據集所需要的流轉時間最短的數據集存放庫。