[發明專利]一種數據處理方法、裝置、計算機設備和存儲介質

有效

• 申請號: 202010110365.5
• 申請日: 2020-02-21
• 公開（公告）號: CN111291054B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 黃春暉;王剛
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F9/54
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 張慧娟

本發明公開了一種數據處理方法、裝置、計算機設備和存儲介質，該方法包括：接收追蹤對象的對象數據，確定對象數據對應的當前節點的節點信息；根據節點信息從預先配置的計算規則中獲取與當前節點對應的目標計算規則；解析目標計算規則，根據解析結果獲取計算當前節點的當前階段數據所需要的目標數據；根據目標計算規則以及目標數據計算生成當前節點的當前階段數據。本發明通過將跟蹤對象的計算邏輯抽象為可解析的數學表達式，實現計算邏輯配置化，可以快速根據表達式匹配數據并計算，通過使用分布式列式數據庫作為存儲介質實現快速讀寫，提高讀取效率。

技術領域

本發明涉及數據處理技術領域，特別涉及一種數據處理方法、裝置、計算機設備和存儲介質。

背景技術

目前基于海量數據實時跟蹤軌跡信息并快速匹配上下文執行計算存在以下技術難點：

1、海量軌跡數據的結構化保存。一個追蹤對象的生命周期會包含多個不同的階段，每個階段都會產生不同的軌跡信息，對象的整個生命周期可能會很長，僅使用實時流式計算執行器的內存無法緩存如此長周期的歷史軌跡數據，故必須借助外部存儲來保存歷史數據，針對如此海量歷史軌跡數據使用傳統關系型數據庫難以保存。

2、實時跟蹤并快速匹配上下文。同一個追蹤對象的每個階段都可能觸發對于此對象的歷史軌跡信息的追蹤及相關計算，需要一個完整的機制來保證如何實時快速匹配上下文并正確觸發計算。

針對上述問題，現有技術中通常比較通用技術方案是針對每個軌跡追蹤邏輯進行硬編碼定制化開發，以及使用Hive作為存儲介質保存海量歷史軌跡數據。但是，一方面，當計算邏輯發生變化時，需要人工維護代碼，成本較高，另一方面，Hive讀取效率低下，適合準實時批量處理，時效性低。

因此，亟需提出一種新的數據處理方案，以解決上述問題。

發明內容

為了解決現有技術的問題，本發明實施例提供了一種數據處理方法、裝置、計算機設備和存儲介質，以克服現有技術中針對每個軌跡追蹤邏輯進行硬編碼定制化開發，存在的需要人工維護代碼，成本較高以及使用Hive作為存儲介質保存海量歷史軌跡數據，讀取效率低下、時效性低等問題。

為解決上述一個或多個技術問題，本發明采用的技術方案是：

第一方面，提供了一種數據處理方法，該方法包括如下步驟：

接收追蹤對象的對象數據，確定所述對象數據對應的當前節點的節點信息；

根據所述節點信息從預先配置的計算規則中獲取與所述當前節點對應的目標計算規則；

解析所述目標計算規則，根據解析結果獲取計算所述當前節點的當前階段數據所需要的目標數據；

根據所述目標計算規則以及所述目標數據計算生成所述當前節點的當前階段數據。

進一步的，所述解析所述目標計算規則，根據解析結果獲取計算所述當前節點的當前階段數據所需要的目標數據包括：

對所述目標計算規則進行解析，獲取解析結果；

根據所述解析結果判斷是否需要獲取歷史階段數據，若不需要，則直接確定所述對象數據為目標數據，否則，獲取對應的歷史階段數據，將獲取到的所述歷史階段數據與所述對象數據確定為目標數據。

進一步的，所述獲取對應的歷史階段數據包括：

查詢緩存數據中是否存在所述歷史階段數據，若存在，則從所述緩存中獲取所述歷史階段數據，否則將所述對象數據以及所述計算規則發送至分布式消息隊列，以便后續執行數據補充流程。

進一步的，所述數據補充流程包括如下步驟：

接收并解析分布式消息隊列發送來消息數據，獲取所述消息數據中攜帶的對象數據以及目標計算規則；