[發明專利]從物理流生成邏輯表示

在審

• 申請號: 201380078997.6
• 申請日: 2013-06-24
• 公開（公告）號: CN105556504A
• 公開（公告）日: 2016-05-04
• 發明（設計）人: A·西米特西斯;W·K·威爾金森;佩塔爾·約萬諾維奇
• 申請（專利權）人: 惠普發展公司;有限責任合伙企業
• 主分類號: G06F17/00
• 分類號: G06F17/00
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 宋穎娉;康泉

背景技術

存在用于處理分析流的許多執行引擎。這些引擎可僅接受以特定編程語言(例如， PigLatin、結構化查詢語言(SQL))寫的、或使用特定流設計工具(例如，Pentaho數 據整合(PDI)平臺)設計的輸入流。此外，即使支持相同編程語言或流設計工具的 數據分析引擎也可能提供分析操作等的不同實現方式，且因此針對輸入流可能具有引 擎專用需求。在今天的異構分析環境中，由于這些限制，可能很難對分析流進行管理， 尤其是在分析流是包括針對不同引擎的多個子流的混合流時更難。

附圖說明

下面的詳細描述涉及附圖，其中：

圖1示出根據示例的生成邏輯表示的方法。

圖2示出根據示例的用于生成邏輯表示的處理系統的概覽。

圖3示出根據示例的用于生成邏輯表示的字典。

圖4示出根據示例的用于生成邏輯表示的字典的圖解。

圖5示出根據示例的邏輯運算符的字典條目。

圖6示出根據示例的更新字典的方法。

圖7示出根據示例的生成邏輯表示的計算系統。

圖8示出根據示例的用于生成邏輯表示的計算機可讀介質。

具體實施方式

如本文所描述的，可從一個或多個物理分析流生成邏輯分析流(本文稱為“邏 輯表示”)。物理流包括諸如實現類型、資源、存儲路徑等的實現細節，且專用 于一種執行引擎。物理流可以用特定的編程語言寫成，或者可以用特定的流設計 工具設計。物理流還可以是混合流，其包括針對不同執行引擎的多個子流。比較 而言，生成的邏輯流可包括用邏輯語言寫的邏輯運算符，且可以是引擎不可知的， 意味著其不是設計用于在任何專用執行引擎上運行。

存在生成物理流的引擎不可知的邏輯表示的許多優勢。例如，在混合流的情 況下，如果將流以一個表示寫成單個流，則可更容易地理解流并對流進行管理。 在采用邏輯表示時混合流可被優化，且可分解成更適于在給定執行環境(其可包 括多個異構引擎)中執行的不同子流。即使對于非混合流，生成物理流的邏輯表 示也可提供流的有用的抽象，且可使流能夠轉換成另一種物理形式，以供在與最 初專用的執行引擎不同的執行引擎上執行。

根據示例，實現本文描述的原理的技術可包括將與至少一個執行引擎關聯的 第一物理流解析成多個元素。第一物理流可以是與多個異構執行引擎關聯的混合 流?？赏ㄟ^將多個元素轉換成用邏輯語言表示的邏輯元素，使用字典生成物理流 的邏輯表示。字典可包括邏輯語言和與至少一個執行引擎關聯的編程語言之間的 映射。隨后，可使用字典從邏輯表示生成第二物理流。下面結合附圖描述附加示 例、優勢、特征和修改等。

圖1示出根據示例的生成邏輯表示的方法。方法100可由計算設備、系統、 或計算機實施，例如由處理系統200、計算系統700、或計算機800實施。實現方 法100的計算機可讀指令可存儲在計算機可讀存儲介質上。存儲在介質上的這些 指令本文可稱為“模塊”，且可由計算機執行。

這里將結合圖2的示例處理系統200描述方法100。系統200可包括一個或多 個計算機，和/或可由一個或多個計算機實現。例如，計算機可以是服務器計算機、 工作站計算機、臺式計算機、便攜式電腦或移動設備，等等，且可以是分布式系 統的一部分。計算機可包括一個或多個控制器以及一個或多個機器可讀存儲介質。

控制器可包括實現機器可讀指令的處理器和存儲器。處理器可包括至少一個 中央處理單元(CPU)、至少一個基于半導體的微處理器、至少一個數字信號處理 器(DSP)(例如，數字圖像處理單元)、適用于獲取并執行存儲器中存儲的指令 的其他硬件設備或處理元件、或其結合。處理器可包括一個芯片上的單個或多個 核、多個芯片上的多個核、多個設備上的多個核、或其結合。處理器可從存儲器 提取、解碼、并執行指令，以實施各種功能。除獲取并執行指令之外或者作為獲 取并執行指令的替代，處理器可包括：包括實施各種任務或功能的多個電子部件 的至少一個集成電路(IC)、其他控制邏輯、其他電子電路、或其結合。