[發明專利]一種數據調度的方法及裝置

在審

• 申請號: 201610262798.6
• 申請日: 2016-04-25
• 公開（公告）號: CN107305580A
• 公開（公告）日: 2017-10-31
• 發明（設計）人: 田鵬偉;曲秀赟;梁棟;毛懌;羅洪;江川
• 申請（專利權）人: 西門子公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 李慧

技術領域

本發明涉及大數據處理領域，尤其涉及一種數據調度的方法及裝置。

背景技術

近幾年來，隨著計算機和信息技術的迅猛發展和普及應用，行業應用系統的規模迅速擴大，行業應用所產生的數據成爆炸性增長，現階段大數據已遠遠超出了現有傳統的計算技術和信息系統的處理能力。

目前，大數據處理方法通常只專注于特定的數據處理框架內部的數據處理，例如：用于歷史數據分析的批量數據處理(如，MapReduce等)、用于實時流數據處理的流計算(如Storm，S4等)或用于相互關聯的數據分析的圖形計算(如HAMA等)。現有技術中并沒有針對多個數據處理框架間數據如何進行調度的相關記載，故不能對數據進行全面的分析和目標整合。

發明內容

有鑒于此，本發明的一個實施例解決的問題之一是能夠根據數據的功能和處理時長要求調度到不同的數據處理架構進行數據處理，從而提高大數據處理速率。

根據本發明的一個實施例，提供了一種數據調度的方法，所述方法包括：

將源數據按照預定要求添加調度標簽，所述調度標簽用于識別所述源數據的功能和處理時長要求；

根據所述調度標簽將所述源數據分派到對應的目標數據緩存或對應的目標數據處理框架。

根據本發明的一個實施例，提供了一種數據調度的裝置，所述裝置包括：

標簽添加模塊，用于將源數據按照預定要求添加調度標簽，所述調度標簽用于識別所述源數據的功能和處理時長要求；

分派模塊，用于根據所述調度標簽將所述源數據分派到目標數據緩存或對應的目標數據處理框架。

與現有技術相比，本發明具有以下優點：數據調度的方法和裝置能夠根據數據的功能和處理時長要求調度到不同的目標數據緩存或目標數據處理架構進行數據處理，保證了數據可以被正確地分派到目標大數據處理框架， 從而提高大數據處理速率。

附圖說明

本發明的其它特點、特征、優點和益處通過以下結合附圖的詳細描述將變得更加顯而易見。

圖1為根據本發明一個實施例的數據調度的方法的流程圖；

圖2為根據本發明一個實施例的另一數據調度的方法的流程圖；

圖3-1為根據本發明一個實施例的數據調度的方法中從第一虛擬緩存隊列到增加第二虛擬緩存隊列的示意圖；

圖3-2為根據本發明一個實施例的數據調度的方法中以從兩個虛擬緩存隊列到增加第三個虛擬緩存隊列的示意圖；

圖3-3為根據本發明一個實施例的數據調度的方法中以從虛擬緩存隊列集中虛擬緩存隊列的寫入和讀取操作的示意圖；

圖3-4為根據本發明一個實施例的數據調度的方法中以從虛擬緩存隊列集中將存儲空間為空的虛擬緩存隊列刪除的示意圖；

圖4為根據本發明一個實施例的在復雜大數據處理方案中數據處理的系統結構示意圖；

圖5為根據本發明另一個實施例的在復雜大數據處理方案中數據處理的系統結構示意圖；

圖6為根據本發明一個實施例的數據調度的裝置的結構框圖；

圖7為根據本發明一個實施例的另一數據調度的裝置的結構框圖；

圖8為根據本發明一個實施例的又一數據調度的裝置的結構框圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的優選實施方式。雖然附圖中顯示了本公開的優選實施方式，然而應該理解，可以以各種形式實現本公開而不應被這里闡述的實施方式所限制。相反，提供這些實施方式是為了使本公開更加透徹和完整，并且能夠將本公開的范圍完整的傳達給本領域的技術人員。

圖1為根據本發明一個實施例的數據調度的方法的流程圖。該方法包括步驟S110和步驟S120：

在步驟S110中，服務器將源數據按照預定要求添加調度標簽，所述調度標簽用于識別所述源數據的功能和處理時長要求。