[發(fā)明專利]利用微批處理管理快照和狀態(tài)

有效

• 申請?zhí)枺?/td>: 201780055812.8
• 申請日: 2017-09-15
• 公開（公告）號: CN109690517B
• 公開（公告）日: 2023-04-04
• 發(fā)明（設(shè)計）人: H·帕克;S·比施諾伊;P·斯卡拉姆;S·庫馬;P·阿德瓦尼;K·穆拉伊;J·圖里昂
• 申請（專利權(quán)）人: 甲骨文國際公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/23;G06F16/2455;G06F11/30;G06F16/2453;G06F16/9032;G06F16/901
• 代理公司: 中國貿(mào)促會專利商標事務(wù)所有限公司 11038
• 代理人: 劉玉潔

公開了一種用于處理事件流中的事件的事件處理系統(tǒng)。該系統(tǒng)可以執(zhí)行指令以：接收輸入事件的微批次流，使用CQL引擎來處理輸入事件以生成輸出事件集合，使用由CQL引擎實現(xiàn)的快照管理算法至少部分地基于與應(yīng)用相關(guān)的輸出事件集合生成系統(tǒng)的當前狀態(tài)的快照，生成第一目錄結(jié)構(gòu)以訪問與系統(tǒng)的當前狀態(tài)的快照相關(guān)聯(lián)的快照信息，生成第二目錄結(jié)構(gòu)以生成與系統(tǒng)的當前狀態(tài)相關(guān)聯(lián)的快照列表，以及至少部分地基于快照管理算法來確定獲取、添加或清理與系統(tǒng)的當前狀態(tài)相關(guān)聯(lián)的快照列表的處理。

對相關(guān)申請的交叉引用

本申請要求于2016年9月15日提交的標題為“MANAGING?SNAPSHOTS?AND?STATEWITH?MICRO-BATCHING”的印度臨時申請No.201641031479的優(yōu)先權(quán)和權(quán)益，該印度臨時申請的全部內(nèi)容通過引用并入本文，用于所有目的。

背景技術(shù)

在傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)中，數(shù)據(jù)通常以表的形式存儲在一個或多個數(shù)據(jù)庫中。然后使用諸如結(jié)構(gòu)化查詢語言(SQL)之類的數(shù)據(jù)管理語言來查詢和操縱所存儲的數(shù)據(jù)。例如，可以定義并執(zhí)行SQL查詢，以從存儲在數(shù)據(jù)庫中的數(shù)據(jù)中識別相關(guān)數(shù)據(jù)。因此，SQL查詢是對存儲在數(shù)據(jù)庫中的有限數(shù)據(jù)集執(zhí)行的。另外，當執(zhí)行SQL查詢時，它在有限數(shù)據(jù)集上執(zhí)行一次并且產(chǎn)生有限靜態(tài)結(jié)果。因此，數(shù)據(jù)庫最佳地被配備為在有限存儲數(shù)據(jù)集上運行查詢。

但是，多個現(xiàn)代應(yīng)用和系統(tǒng)以連續(xù)數(shù)據(jù)或事件流而不是有限數(shù)據(jù)集的形式生成數(shù)據(jù)。此類應(yīng)用的示例包括但不限于傳感器數(shù)據(jù)應(yīng)用、金融報價機、網(wǎng)絡(luò)性能測量工具(例如，網(wǎng)絡(luò)監(jiān)視和流量管理應(yīng)用)、點擊流分析工具、汽車交通監(jiān)視等。這些應(yīng)用引起了對可以處理數(shù)據(jù)流的新型應(yīng)用的需求。例如，溫度傳感器可以被配置為發(fā)出溫度讀數(shù)。

管理和處理用于這些類型的基于事件流的應(yīng)用的數(shù)據(jù)涉及構(gòu)建具有強時間焦點的數(shù)據(jù)管理和查詢能力。需要不同類型的查詢機制，該查詢機制包括對連續(xù)無界數(shù)據(jù)集的長時間運行的查詢。雖然一些供應(yīng)商現(xiàn)在提供面向事件流處理的產(chǎn)品套件，但是這些產(chǎn)品提供物(offering)仍然缺乏處理當今事件處理需求所需的處理靈活性。

發(fā)明內(nèi)容

提供了用于處理事件流的事件的技術(shù)(例如，方法、系統(tǒng)、存儲可由一個或多個處理器執(zhí)行的代碼或指令的非瞬態(tài)計算機可讀介質(zhì))。在實施例中，公開了一種事件處理系統(tǒng)。一個或多個計算機的系統(tǒng)可以被配置為憑借在系統(tǒng)上安裝在操作時使系統(tǒng)執(zhí)行動作的軟件、固件、硬件或它們的組合來執(zhí)行特定的操作或動作。一個或多個計算機程序可以被配置為憑借包括當由數(shù)據(jù)處理裝置執(zhí)行時使裝置執(zhí)行動作的指令來執(zhí)行特定的操作或動作。一個一般方面包括一種用于管理從連續(xù)查詢語言(CQL)引擎創(chuàng)建的快照的方法，包括：由計算設(shè)備接收與應(yīng)用相關(guān)的輸入事件的微批次流。該方法還包括由計算設(shè)備使用CQL引擎處理輸入事件以生成與應(yīng)用相關(guān)的輸出事件集合。該方法還包括由計算設(shè)備使用由CQL引擎實現(xiàn)的快照管理算法至少部分地基于與應(yīng)用相關(guān)的輸出事件集合來生成系統(tǒng)的當前狀態(tài)的快照。該方法還包括由計算設(shè)備生成第一目錄結(jié)構(gòu)，以訪問與系統(tǒng)的當前狀態(tài)的快照相關(guān)聯(lián)的快照信息。該方法還包括由計算設(shè)備生成第二目錄結(jié)構(gòu)，以生成與系統(tǒng)的當前狀態(tài)相關(guān)聯(lián)的快照列表。該方法還包括由計算設(shè)備至少部分地基于快照管理算法來確定獲取、添加或清理與系統(tǒng)的當前狀態(tài)相關(guān)聯(lián)的快照列表的處理。這個方面的其它實施例包括各自被配置為執(zhí)行方法的動作的對應(yīng)計算機系統(tǒng)、裝置和記錄在一個或多個計算機存儲設(shè)備上的計算機程序。

實施方式可以包括以下特征中的一個或多個。該方法其中微批次流是離散化成亞秒級微批次的連續(xù)數(shù)據(jù)流。該方法其中處理輸入事件包括至少部分地基于經(jīng)變換的查詢計劃來處理輸入事件。該方法還包括由計算設(shè)備將與應(yīng)用相關(guān)的輸出事件集合存儲在輸出隊列中；以及當處理完所有輸入事件時，由計算設(shè)備發(fā)送輸出隊列中的輸出事件。該方法其中微批次流包括彈性分布式數(shù)據(jù)集(RDD)或數(shù)據(jù)的微批次。該方法其中處理每個輸入事件包括至少部分地基于經(jīng)變換的查詢計劃對每個輸入執(zhí)行計算。該方法還包括由計算設(shè)備接收連續(xù)查詢，對連續(xù)查詢應(yīng)用變換以生成用于連續(xù)查詢的查詢計劃，以及使用變換算法變換查詢計劃以生成經(jīng)變換的查詢計劃，其中連續(xù)查詢包括模式匹配。所描述的技術(shù)的實現(xiàn)可以包括硬件、方法或處理或計算機可訪問介質(zhì)上的計算機軟件。