[發明專利]數據處理方法及系統

有效

• 申請號: 201710434019.0
• 申請日: 2017-06-09
• 公開（公告）號: CN109033109B
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 陳國棟;管國辰;郭峰;鄧長春
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/242;G06F16/182
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 江崇玉

1.一種數據處理方法，其特征在于，所述方法包括：

接收第一結構化查詢語言SQL操作指令；

根據所述第一SQL操作指令生成第一有向無環圖，所述第一有向無環圖用于定義流式處理應用的邏輯處理計劃，所述第一有向無環圖包括輸入節點、中間節點、輸出節點和用于連接節點的有向邊，所述輸入節點對應事件源，所述事件源用于向所述流式處理應用輸入流式數據，每個所述中間節點對應一個數據集，所述輸出節點用于輸出結果數據，每個所述有向邊對應一個運算邏輯；

接收與所述第一有向無環圖中指定節點對應的第二SQL操作指令；

根據所述第二SQL操作指令對所述第一有向無環圖進行修改；

根據所述第一有向無環圖中的所述有向邊生成至少一個任務，所述任務用于對所述有向邊的父節點的數據集進行處理，所述父節點是與所述有向邊的起始頂點相連的節點，所述任務包括查詢任務或者分析任務；

將所述至少一個任務分配至計算節點中進行執行，以對所述有向邊的父節點的數據集進行查詢操作或者分析操作。

2.根據權利要求1所述的方法，其特征在于，所述第二SQL操作指令包括：n條SQL語句，n為正整數；

所述根據所述第二SQL操作指令對所述第一有向無環圖進行修改，包括：

根據所述第二SQL操作指令中的至少一條SQL語句，確定出所述第一有向無環圖中的第一指定節點；

根據所述第二SQL操作指令中的至少一條SQL語句，在所述第一有向無環圖中增加與所述第一指定節點相連的第一有向邊；

根據所述第二SQL操作指令中的至少一條SQL語句，在所述第一有向無環圖中增加與所述第一有向邊相連的新增節點，所述新增節點是中間節點或輸出節點。

3.根據權利要求2所述的方法，其特征在于，所述根據所述第二SQL操作指令中的至少一條SQL語句，確定出所述第一有向無環圖中的第一指定節點，包括：

檢測所述第二SQL操作指令中的所述至少一條SQL語句的輸入數據集是否對應于所述第一有向無環圖中已經存在的所述第一指定節點；

若所述輸入數據集對應于所述第一指定節點，則將所述第一有向無環圖中的所述第一指定節點復用為與所述SQL語句對應的輸入節點。

4.根據權利要求1所述的方法，其特征在于，所述第二SQL操作指令包括：n條SQL語句，n為正整數；

所述根據所述第二SQL操作指令對所述第一有向無環圖進行修改，包括：

根據所述第二SQL操作指令中的至少一條SQL語句，確定出所述第一有向無環圖中的第二指定節點和與所述第二指定節點相連的第二有向邊；

根據所述第二SQL操作指令中的至少一條SQL語句，在所述第一有向無環圖中刪除所述第二指定節點和所述第二有向邊。

5.根據權利要求1所述的方法，其特征在于，所述第一SQL操作指令和/或所述第二SQL操作指令攜帶有至少一條SQL語句，存在至少一條SQL語句中攜帶有并發度m，m為正整數且大于1；

所述根據所述第一有向無環圖中的有向邊，生成至少一個任務，包括：

對攜帶有所述并發度m的所述SQL語句所對應的所述有向邊，生成并發的m個任務。

6.根據權利要求1所述的方法，其特征在于，所述計算節點包括第一計算節點和第二計算節點，所述方法還包括：

當存在一個任務在所述第一計算節點中執行失敗時，檢測所述任務對應的有向邊的所述父節點是否處于正常狀態；

若所述父節點處于所述正常狀態，則重新生成所述任務，將所述任務調度至所述第二計算節點中執行，所述第二計算節點用于從所述父節點中獲取數據集并重新計算。