[發明專利]一種數據處理方法、裝置、電子設備及存儲介質

有效

• 申請號: 202210498840.X
• 申請日: 2022-05-09
• 公開（公告）號: CN114925092B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 李昂;吳兆躍;張型龍
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/27
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 李娜

本公開關于一種數據處理方法、裝置、電子設備及存儲介質，包括：根據預先獲取的數據處理規則，生成初始規則樹；對初始規則樹中的節點進行遍歷，根據對應的標簽規則，對父節點相同的葉子節點進行合并處理，得到簡化規則樹；依次確定目標計算引擎，并按照由上到下的順序，對簡化規則樹中的節點進行遍歷，在任一未標記的節點滿足目標計算引擎的適用條件情況下，將任一未標記的節點標記為目標計算引擎的計算節點，直至簡化規則樹中的根節點標記完成；將簡化規則樹轉換為執行計劃樹；基于執行計劃樹，對待處理數據進行處理，得到處理結果。這樣，基于多種計算引擎的特點，對不同節點選擇合適的計算引擎，從而提升計算速度和資源利用率。

技術領域

本公開涉及數據分析領域，尤其涉及一種數據處理方法、裝置、電子設備及存儲介質。

背景技術

在很多業務場景中，業務人員需要根據自定義規則，通過指定標簽名、運算符、標簽值等信息，根據不同對象的對象屬性圈選出對象群，進而可以對對各對象群開展相應的業務活動。

現有的技術方案，在進行對象圈選時，使用hive?sql（hive?Structured?QueryLanguage，基于hive存儲引擎的結構化查詢語言）方式，將所有的圈選條件拼接為一個sql語句，執行sql語句后得到最終結果。

但是，對于復雜的圈選規則，會拼接為一條較長的sql語句，其中會嵌套多個查詢，使用hive引擎進行查詢，少則1-2小時，多則10多個小時，查詢速度慢，而且資源占用情況嚴重，可能造成其他查詢的阻塞。

發明內容

本公開提供一種數據處理方法、裝置、電子設備及存儲介質，以至少解決相關技術中查詢速度慢，而且資源占用情況嚴重，可能造成其他查詢的阻塞的問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種數據處理方法，包括：

根據預先獲取的數據處理規則，生成初始規則樹，其中，所述數據處理規則包括至少一項標簽規則及所述標簽規則之間的邏輯關系，所述初始規則樹中包括葉子節點及非葉子節點，所述葉子節點用于表征所述標簽規則，所述非葉子節點用于表征所連接的子節點之間的邏輯關系；

按照由下到上的順序，對所述初始規則樹中的節點進行遍歷，根據對應的標簽規則，對父節點相同的葉子節點進行合并處理，得到簡化規則樹；

按照預設優先級順序，依次確定目標計算引擎，并按照由上到下的順序，對所述簡化規則樹中的節點進行遍歷，在任一未標記的節點滿足所述目標計算引擎的適用條件情況下，將所述任一未標記的節點標記為所述目標計算引擎的計算節點，直至所述簡化規則樹中的根節點標記完成；

根據所述節點標記，將所述簡化規則樹轉換為執行計劃樹，所述執行計劃樹的葉子節點用于表征計算單元，所述執行計劃樹的非葉子節點用于表征所連接的子節點之間的邏輯關系；

基于所述執行計劃樹，對待處理數據進行處理，得到處理結果。

可選的，所述按照由下到上的順序，對所述初始規則樹中的節點進行遍歷，根據對應的標簽規則，對父節點相同的葉子節點進行合并處理，得到簡化規則樹，包括：

按照由下到上的順序，對所述初始規則樹中的節點進行遍歷，將當前遍歷到的節點作為目標節點；

在所述目標節點的子節點中包括多個葉子節點的情況下，獲取所包括的葉子節點對應的標簽規則，所述標簽規則包括標簽名、運算規則及標簽值；

將所包括的葉子節點中標簽名相同的節點作為候選節點，在所述候選節點的運算規則及標簽值滿足合并條件的情況下，對所述候選節點進行合并，得到簡化規則樹。

可選的，所述按照由上到下的順序，對所述簡化規則樹中的節點進行遍歷，在任一未標記的節點滿足所述目標計算引擎的適用條件情況下，將所述任一未標記的節點標記為所述目標計算引擎的計算節點，直至所述簡化規則樹中的根節點標記完成，包括：