[發明專利]利用微批處理管理快照和狀態

有效

• 申請號: 201780055812.8
• 申請日: 2017-09-15
• 公開（公告）號: CN109690517B
• 公開（公告）日: 2023-04-04
• 發明（設計）人: H·帕克;S·比施諾伊;P·斯卡拉姆;S·庫馬;P·阿德瓦尼;K·穆拉伊;J·圖里昂
• 申請（專利權）人: 甲骨文國際公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/23;G06F16/2455;G06F11/30;G06F16/2453;G06F16/9032;G06F16/901
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 劉玉潔

1.一種用于管理從連續查詢語言CQL引擎創建的快照的方法，所述方法包括：

由計算設備接收連續查詢；

由計算設備對所述連續查詢應用有向無環圖DAG變換來生成所述連續查詢的查詢計劃，其中所述查詢計劃是有序步驟集，所述有序步驟集用于訪問數據以用于處理所述連續查詢；

由計算設備對所述查詢計劃應用CQL變換來生成經變換的查詢計劃；

由計算設備接收與應用相關的輸入事件的微批次流；

由計算設備使用CQL引擎處理輸入事件，以生成與應用相關的輸出事件集合，其中，所述處理輸入事件包括：由所述CQL引擎至少部分地基于所述經變換的查詢計劃來針對所述連續查詢對所述微批次流的輸入事件中的每個輸入事件執行增量計算，以及由所述CQL引擎針對所述微批次流的輸入事件中的每個輸入事件創建輸出事件，其中所述輸出事件集合包括針對所述微批次流的每個輸入事件的輸出事件；

由計算設備使用由CQL引擎實現的快照管理算法至少部分地基于與應用相關的輸出事件集合來生成系統的當前狀態的快照；

由計算設備生成第一目錄結構，以訪問與系統的當前狀態的快照相關聯的快照信息；

由計算設備生成第二目錄結構，以生成與系統的當前狀態相關聯的快照列表；以及

由計算設備至少部分地基于快照管理算法來確定獲取、添加或清理與系統的當前狀態相關聯的快照列表的處理。

2.如權利要求1所述的方法，其中微批次流是離散化成亞秒級微批次的連續數據流。

3.如權利要求1所述的方法，還包括由計算設備將與應用相關的輸出事件集合存儲在輸出隊列中；以及當已經處理完所有輸入事件時，由計算設備發送輸出隊列中的輸出事件。

4.如權利要求3所述的方法，其中微批次流包括彈性分布式數據集RDD或數據的微批次。

5.如權利要求4所述的方法，其中處理所述輸入事件中的每個輸入事件包括至少部分地基于經變換的查詢計劃對所述輸入事件中的每個輸入事件執行計算。

6.如權利要求5所述的方法，其中連續查詢包括模式匹配。

7.一種系統，包括：

存儲器，被配置為存儲計算機可執行指令；以及

處理器，被配置為訪問存儲器并且執行計算機可執行指令，以：

接收連續查詢；

對所述連續查詢應用有向無環圖DAG變換來生成所述連續查詢的查詢計劃，其中所述查詢計劃是有序步驟集，所述有序步驟集用于訪問數據以用于處理所述連續查詢；

對所述查詢計劃應用連續查詢語言CQL變換來生成經變換的查詢計劃，以使得CQL引擎能夠使用所述經變換的查詢計劃來執行所述連續查詢；

接收與應用相關的輸入事件的微批次流；

使用CQL引擎處理輸入事件，以生成與應用相關的輸出事件集合，其中，所述處理輸入事件包括：由所述CQL引擎至少部分地基于所述經變換的查詢計劃來針對所述連續查詢對所述微批次流的輸入事件中的每個輸入事件執行增量計算，以及由所述CQL引擎針對所述微批次流的輸入事件中的每個輸入事件創建輸出事件，其中所述輸出事件集合包括針對所述微批次流的輸入事件中的每個輸入事件的輸出事件；

使用由CQL引擎實現的快照管理算法至少部分地基于與應用相關的輸出事件集合來生成系統的當前狀態的快照；

生成第一目錄結構，以訪問與系統的當前狀態的快照相關聯的快照信息；

生成第二目錄結構，以生成與系統的當前狀態相關聯的快照列表；以及

至少部分地基于快照管理算法確定獲取、添加或清理與系統的當前狀態相關聯的快照列表的處理。

8.如權利要求7所述的系統，其中微批次流是離散化成亞秒級微批次的連續數據流。

9.如權利要求7所述的系統，其中所述計算機可執行指令進一步可執行以將與應用相關的輸出事件集合存儲在輸出隊列中；以及當已經處理完所有輸入事件時，發送輸出隊列中的輸出事件。