[發明專利]一種數據處理方法、設備及計算機可讀介質

在審

• 申請號: 201910093140.0
• 申請日: 2019-01-30
• 公開（公告）號: CN110020773A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 李泉泉
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 陳貞健;邵棟

1.一種數據處理方法，其中，該方法包括：

響應于用戶輸入的指標配置信息和指標提取規則，創建多個任務，并生成多個任務之間的拓撲關系，其中，所述任務用于在被執行時實現相應的處理，所述拓撲關系表示所述多個任務的執行順序；

基于所述拓撲關系調度并執行所述多個任務，以計算所述指標配置信息對應的指標數據，基于所述指標提取規則從所述指標數據中提取目標指標數據，并將所述目標指標數據發送至目標數據庫。

2.根據權利要求1所述的方法，其中，所述任務包括數據計算任務、數據提取任務和回流任務，所述數據計算任務根據所述指標配置信息創建，用于在被執行時計算所述指標配置信息對應的指標數據；所述數據提取任務根據所述指標提取規則確定，用于在被執行時基于所述指標提取規則從所述指標數據中提取目標指標數據；所述回流任務用于在被執行時將所述目標指標數據發送至目標數據庫；

基于所述拓撲關系調度并執行所述多個任務，包括：

基于所述拓撲關系依次調度并執行數據計算任務、數據提取任務和回流任務。

3.根據權利要求2所述的方法，其中，所述指標配置信息至少包括統計數據源、統計主體和統計指標；

所述數據計算任務用于在被執行時，從所述統計數據源獲取關于所述統計主體的事件數據，并根據統計指標計算指標數據。

4.根據權利要求2所述的方法，其中，所述數據計算任務包括增量計算任務和全量計算任務；

所述增量計算任務用于在被執行時，獲取所述指標配置信息對應的增量指標數據，其中，所述增量指標數據為最近一個處理周期內的指標數據；

所述全量計算任務用于在被執行時，獲取所述指標配置信息對應的全量指標數據，其中，所述全量指標數據為最近多個處理周期內的指標數據。

5.根據權利要求4所述的方法，其中，執行數據計算任務，包括：

執行增量計算任務，以獲取最近一個處理周期內的所述指標配置信息對應的指標數據；

在所述增量計算任務執行完成之后，執行全量計算任務，以基于前一次執行全量計算任務所獲取的全量指標數據和本次增量計算任務所獲取的指標數據，獲取本次的全量指標數據。

6.根據權利要求5所述的方法，其中，該方法還包括：設置增量表和全量表，所述增量表用于存儲執行增量計算任務所獲取的指標數據，所述全量包用于存儲執行全量計算任務所獲取的全量指標數據；

執行數據計算任務，包括：

執行增量計算任務，以獲取最近一個處理周期內的所述指標配置信息對應的指標數據，并將所述指標數據寫入到增量表中；

在所述增量計算任務執行完成之后，執行全量計算任務，包括：

基于所述全量表中前一次執行全量計算任務所獲取的全量指標數據，以及所述增量表中本次增量計算任務所獲取的指標數據進行計算，獲取本次的全量指標數據，并寫入到全量表中。

7.根據權利要求4至6中任一項所述的方法，其中，所述全量指標數據所對應的最近多個處理周期包括預設數量的處理周期或已經過的所有處理周期。

8.根據權利要求2所述的方法，其中，該方法還包括：設置臨時表，所述臨時表用于存儲從所述指標數據中提取目標指標數據；

執行數據提取任務和回流任務，包括：

執行數據提取任務，以基于所述指標提取規則從所述指標數據中提取目標指標數據，并寫入到所述臨時表中；

在所述數據提取任務執行完成后，執行回流任務，以從所述臨時表中讀取所述目標指標數據，并發送至目標數據庫。