[發(fā)明專利]數(shù)據(jù)流的連續(xù)查詢

有效

• 申請?zhí)枺?/td>: 201080070687.6
• 申請日: 2010-10-14
• 公開（公告）號: CN103250147A
• 公開（公告）日: 2013-08-14
• 發(fā)明（設(shè)計）人: Q.陳;M.蘇
• 申請（專利權(quán)）人: 惠普發(fā)展公司;有限責(zé)任合伙企業(yè)
• 主分類號: G06F17/20
• 分類號: G06F17/20;G06F17/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 馬紅梅;王洪斌

背景技術(shù)

通常，使用系統(tǒng)中的計算機來在數(shù)據(jù)流上處理查詢。典型地，這種系統(tǒng)接收對隨時間改變的數(shù)據(jù)流應(yīng)用的查詢，而不是對典型地被發(fā)現(xiàn)存儲在數(shù)據(jù)庫中的靜態(tài)數(shù)據(jù)應(yīng)用的查詢。數(shù)據(jù)流的示例包括實時股票報價、高速公路上的實時交通監(jiān)控、或者諸如互聯(lián)網(wǎng)之類的計算機網(wǎng)絡(luò)上的實時分組監(jiān)控。在一個示例中，可以對來自網(wǎng)絡(luò)監(jiān)控的數(shù)據(jù)流進行處理，以檢測侵擾并響應(yīng)于數(shù)據(jù)流上的查詢來生成在線性能度量。在一些示例中，數(shù)據(jù)流可能無限地長，并且數(shù)據(jù)量可能太大以至于數(shù)據(jù)庫管理系統(tǒng)不能存留（persist）。

一些在先系統(tǒng)已經(jīng)提出了使用查詢編譯器來接收查詢并構(gòu)建執(zhí)行計劃，該執(zhí)行計劃包括本地支持的查詢操作符的樹。查詢編譯器可以使用該執(zhí)行計劃來更新全局查詢計劃，該全局查詢計劃被運行時引擎用于識別來自輸入流的與查詢相匹配的數(shù)據(jù)，并基于所識別的數(shù)據(jù)來以成流方式生成輸出數(shù)據(jù)。

附圖說明

圖1是根據(jù)示例的用于數(shù)據(jù)流的連續(xù)分析的系統(tǒng)的框圖；

圖2是根據(jù)示例的用于涉及數(shù)據(jù)字典的數(shù)據(jù)流的連續(xù)分析的系統(tǒng)的框圖；以及

圖3-4是根據(jù)示例的用于數(shù)據(jù)流的連續(xù)分析的方法的流程圖。

具體實施方式

現(xiàn)在將對所示意的示例進行參照，并且本文將使用特定語言來描述這些示例。然而，將理解的是，并不意在從而限制本技術(shù)的范圍。本技術(shù)的附加特征和優(yōu)勢將從結(jié)合附圖作出的以下詳細描述中顯而易見，通過示例，這些附圖一起示意了本技術(shù)的特征。

在許多系統(tǒng)中，存在對更低等待時間查詢的需求，即使在流中處理的數(shù)據(jù)的量快速增長時亦如此。傳統(tǒng)查詢引擎（甚至在成流數(shù)據(jù)上執(zhí)行的那些）基于首先加載數(shù)據(jù)并且然后分析數(shù)據(jù)的原理進行操作。在這些示例中，由于對等待數(shù)據(jù)被加載至數(shù)據(jù)倉庫中的需要，所以增大了查詢等待時間。此外，由于數(shù)據(jù)量通常較大，因此使用了復(fù)雜且數(shù)據(jù)密集型計算平臺，諸如Hadoop或Map-Reduce。當前系統(tǒng)一般不被設(shè)計為以與許多企業(yè)將期望的一樣靈活、高效和快速的方式分析來自事件流的結(jié)果。

將數(shù)據(jù)庫存和數(shù)據(jù)流處理技術(shù)相結(jié)合具有供應(yīng)低等待時間數(shù)據(jù)密集型分析法的潛力。然而，先前解決方案尚未有效地解決數(shù)據(jù)庫存和數(shù)據(jù)流處理的融合。一般從數(shù)據(jù)倉庫和/或查詢引擎分離地構(gòu)建當前數(shù)據(jù)流處理系統(tǒng)。該分離可以導(dǎo)致數(shù)據(jù)密集型成流分析法中的數(shù)據(jù)訪問和數(shù)據(jù)移動方面的顯著開銷。此外，從頭構(gòu)建流處理系統(tǒng)不能利用數(shù)據(jù)庫管理和數(shù)據(jù)倉庫系統(tǒng)中的許多進步。隨著成流分析應(yīng)用的復(fù)雜度增加，在流處理軟件和機器可讀指令中重新創(chuàng)建并重新開發(fā)數(shù)據(jù)倉庫中的許多功能。通過提供用于在流處理期間針對流數(shù)據(jù)的每個組塊（chunk）發(fā)起SQL查詢的工作流狀服務(wù)，來表征用于流處理的查詢引擎的一些先前示例。除頻繁查詢建立和拆除的開銷外，這種方法不能跨越多次執(zhí)行連續(xù)地維持緩沖狀態(tài)，這是由于后端查詢執(zhí)行過程處于隔離的存儲上下文中并且不能夠跨越邊界處理連續(xù)滑動的窗口狀操作。

響應(yīng)于這些挑戰(zhàn)，描述了可替換的架構(gòu)，其中，將數(shù)據(jù)庫存和對數(shù)據(jù)流的分析法進行融合。鑒于許多數(shù)據(jù)庫存應(yīng)用和查詢利用用于檢索數(shù)據(jù)的表掃描，函數(shù)掃描可以用于在不首先將來自數(shù)據(jù)流的數(shù)據(jù)存儲在計算機可讀存儲介質(zhì)（諸如硬盤、光學(xué)存儲器、閃存驅(qū)動器、帶存儲器或任何其他類型的合適計算機可讀存儲介質(zhì)）上的情況下檢索即時捕獲的無邊界數(shù)據(jù)流。

在一個示例中，提供了數(shù)據(jù)流的連續(xù)分析，其中，可以在查詢引擎上對包括查詢周期的查詢進行初始化，以針對期望信息對數(shù)據(jù)流進行分析。可以將數(shù)據(jù)流作為段進行處理，其中，這些段的大小可以基于用戶定義的參數(shù)。每個段可以是來自數(shù)據(jù)流的數(shù)據(jù)的段。段的大小可以是任何方便的大小，諸如比特、字節(jié)、千字節(jié)、兆字節(jié)等的數(shù)目。可以將查詢周期與數(shù)據(jù)流的段進行同步。可以通過對第一段執(zhí)行查詢來分析第一段，以獲得第一結(jié)果。可以堅持查詢的查詢狀態(tài)，并可以倒回查詢操作，以使用切割和倒回查詢模型來開始新查詢周期，以下將更詳細地描述這一點。可以通過存留相同查詢并對第二段執(zhí)行查詢，基于第一結(jié)果，來在新查詢周期中分析第二段。如本文所使用的那樣，“查詢周期”可以指代在倒回查詢以分析隨后數(shù)據(jù)段之前對數(shù)據(jù)段的接收和分析，分析隨后數(shù)據(jù)段開始了新周期。