[發明專利]一種數據調度的方法及裝置

在審

• 申請號: 201610262798.6
• 申請日: 2016-04-25
• 公開（公告）號: CN107305580A
• 公開（公告）日: 2017-10-31
• 發明（設計）人: 田鵬偉;曲秀赟;梁棟;毛懌;羅洪;江川
• 申請（專利權）人: 西門子公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 李慧

1.一種數據調度的方法，所述方法包括：

將源數據按照預定要求添加調度標簽，所述調度標簽用于識別所述源數據的功能和處理時長要求；

根據所述調度標簽將所述源數據分派到對應的目標數據緩存或對應的目標數據處理框架。

2.根據權利要求1所述的數據調度的方法，在所述將源數據按照預定要求添加調度標簽之前，還包括對所述源數據進行預處理，所述預處理包括：

提取所述源數據中的預定字段，將所述預定字段存儲為預定義的格式數據。

3.根據權利要求1所述的數據調度的方法，其中，所述調度標簽包括：

功能要求字段和處理時長要求字段。

4.根據權利要求3所述的數據調度的方法，其中，根據所述調度標簽將所述源數據分派到對應的目標數據緩存的步驟包括：

根據所述功能要求字段和處理時長要求字段將所述源數據分派到批量數據處理、流數據處理或圖形數據處理框架對應的目標數據緩存或對應的目標數據處理框架。

5.根據權利要求1-4任一項所述的數據調度的方法，還包括：

在將所述源數據分派到對應的目標數據緩存或對應的目標數據處理框架后，刪除所述調度標簽。

6.根據權利要求1所述的數據調度的方法，還包括：

將分派的源數據寫入所述目標數據緩存中的第一虛擬緩存隊列；

若所述第一虛擬緩存隊列存儲的數據達到閾值，則增加第二虛擬緩存隊列，并將分派的源數據寫入所述第二虛擬緩存隊列。

7.根據權利要求6所述的數據調度的方法，所述第一虛擬緩存隊列和第二緩存隊列的存儲空間根據數據類型、數據存儲空間或用戶需求確定。

8.根據權利要求6所述的數據調度的方法，還包括：

在所述第一虛擬緩存隊列或所述第二虛擬緩存隊列寫入數據后為對應的目標數據處理框架提供讀取數據操作。

9.根據權利要求6所述的數據調度的方法，還包括：

當所述第一虛擬緩存隊列或所述第二虛擬緩存隊列為空時，刪除所述第一虛擬緩存隊列或第二虛擬緩存隊列。

10.一種數據調度的裝置，所述裝置包括：

標簽添加模塊，用于將源數據按照預定要求添加調度標簽，所述調度標簽用于識別所述源數據的功能和處理時長要求；

分派模塊，用于根據所述調度標簽將所述源數據分派到目標數據緩存或對應的目標數據處理框架。

11.根據權利要求10所述的數據調度的裝置，還包括用于對所述源數據進行預處理預處理模塊；

所述預處理模塊，具體用于提取所述源數據中的預定字段，將所述預定字段存儲為預定義的格式數據。

12.根據權利要求10所述的數據調度的裝置，其中，在標簽添加模塊中，所述調度標簽包括：功能要求字段和處理時長要求字段。

13.根據權利要求10所述的數據調度的裝置，其中，所述分派模塊，具體用于根據所述功能要求字段和處理時長要求字段將所述源數據分派到批量數據處理、流數據處理或圖形數據處理框架對應的目標數據緩存或對應的目標數據處理框架。

14.根據權利要求10-13任一項所述的數據調度的裝置，還包括：

標簽刪除模塊，用于在將所述源數據分派到對應的目標數據緩存或對應的目標數據處理框架后，刪除所述調度標簽。

15.根據權利要求10所述的數據調度的裝置，還包括：

寫入模塊，用于將分派的源數據寫入所述目標數據緩存中的第一虛擬緩存隊列；

隊列增加模塊，用于若所述第一虛擬緩存隊列存儲的數據達到閾值，則增加第二虛擬緩存隊列，并將分派的源數據寫入所述第二虛擬緩存隊列。

16.根據權利要求15所述的數據調度的裝置，還包括：

讀取模塊，用于在所述第一虛擬緩存隊列或所述第二虛擬緩存隊列寫入數據后為對應的目標數據處理框架提供讀取數據操作。

17.根據權利要求15所述的數據調度的裝置，還包括：

隊列刪除模塊，用于當所述第一虛擬緩存隊列或所述第二虛擬緩存隊列 為空時，刪除所述第一虛擬緩存隊列或第二虛擬緩存隊列。