[發明專利]對與服務類別相關聯的混合流進行處理

在審

• 申請號: 201380079890.3
• 申請日: 2013-09-27
• 公開（公告）號: CN105580001A
• 公開（公告）日: 2016-05-11
• 發明（設計）人: A·西米特西斯;威廉姆·凱文·威爾金森;馬泰奧·利桑德里尼
• 申請（專利權）人: 慧與發展有限責任合伙企業
• 主分類號: G06F17/00
• 分類號: G06F17/00;G06F9/38;G06F9/46
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 康泉;宋志強

相關申請的交叉引用

此申請涉及在2013年4月3日提交的、名稱為“修改將在多個執行環境中執行的 操作流”的國際專利申請No.PCT/US2013/035080，其通過引用被納入本文。

背景技術

可通過不同類型的執行環境來實施對數據的操作。例如，一個執行環境可為數據 庫管理系統(DBMS)環境，其中數據被存儲于關系表中并接受基于數據庫的操作。 作為另一個示例，執行環境可包括Map(映射)Reduce(歸約)環境，該環境使用映 射任務和歸約任務來實施操作。還可存在其他類型的執行環境。

附圖說明

以下參照附圖來進行詳細說明，其中：

圖1示出根據示例的用于對與服務類別相關聯的混合流進行處理的方法；

圖2示出根據示例的用于對多個執行環境中的資源進行管理的方法；

圖3示出根據示例的用于對子流進行驗證的方法；

圖4示出根據示例的用于支持對與多個服務類別相關聯的混合流進行管理的混合 流管理系統；

圖5示出根據示例的用于對與服務類別相關聯的混合流進行處理的計算機可讀介 質。

具體實施方式

企事業單位(例如，商行、教育機構、政府機關等等)可依賴于報告和分析(通 常被稱為“計算”)，該報告和分析對來自數據存儲庫的不同數據集合的數據進行整合， 并使用各種執行環境來對該數據進行操作。在一些示例中，單個分析計算可被建模為 有向圖，在有向圖中，起始節點為數據源，結束節點為數據目標，中間節點為數據操 作，并且弧表示數據流。這樣的計算可被稱為分析數據流(或簡單地稱為“流”)。在 其他示例中，流可能具有不同的表示(除了有向圖之外)。一種利用一個以上的數據存 儲庫或執行環境的分析數據流被稱為混合分析數據流(或簡單地稱為“混合流”)。作 為用于某些目的(例如，流應在最后期限之前完成，或各個流的平均響應時間不應超 過閾值等)的單元被加以管理的分析數據流的集合被稱為工作負載。服務類別工作負 載管理器可被用于對與相應的服務類別相關聯的流的集合進行管理。

混合流可包括在不同的執行環境中實施的操作集合。在相應的執行環境中實施的 混合流的操作集合可被稱為“子流”。在混合流中可能存在被定向于單個執行環境的多 個子流。例如，單個混合流可包括被定向于第一執行環境的三個子流和被定向于第二 執行環境的兩個子流。

不同類型的執行環境的示例包括以下中的至少一些：數據庫管理系統(DBMS) 環境、映射歸約環境、提取轉換和加載(ETL)環境、數學和統計分析環境、事件信 息流處理環境或者其他執行環境。每個執行環境都可包括執行引擎和相應的數據存儲 庫。執行引擎可包括用于將相應的運算符應用于數據的一個或多個執行階段，其中運 算符可針對數據進行轉換或實施一些其他動作。存儲庫指一個或多個數據集合。執行 環境可在公共云或公共網絡中使用，在該情況下，執行環境可被稱為公共云執行環境。 可替代地，可在專用網絡中使用的執行環境可被稱為專用執行環境。

DBMS環境將數據存儲在關系表中，并對關系表中的數據應用數據庫運算符(例 如，連接運算符、更新運算符、合并運算符等)。映射歸約環境包括可分別應用映射函 數和歸約函數的映射任務和歸約任務。映射任務基于相應的映射函數來對輸入數據進 行處理以生成中間結果，所述映射函數用于對由映射任務實施的處理進行定義。歸約 任務基于對應的歸約函數將來自映射任務的中間結果作為輸入分段以產生輸出，所述 歸約函數用于對由歸約任務實施的處理進行定義。

執行環境的另一個示例包括ETL環境，該環境從一個源(或多個源)中提取數據、 轉換數據、并將轉換后的數據加載到目的地中。數學/統計分析環境可對數組或數據向 量實施數學運算。事件信息流處理環境可對諸如傳感器數據等事件信息流實施計算。

盡管上面列出了不同執行環境的具體類型，但應注意到，在其他示例中，可使用 其他類型的執行環境來對數據實施操作。