[發明專利]一種數據處理方法以及相關設備

有效

• 申請號: 201910575638.0
• 申請日: 2019-06-28
• 公開（公告）號: CN110347708B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 劉新;潘洋
• 申請（專利權）人: 深圳市元征科技股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/25
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本申請實施例公開了一種數據處理方法以及相關設備，其中方法包括：服務器接收終端設備發送的終端數據；終端數據包括多個子數據；服務器獲取對所述終端數據的處理邏輯信息；處理邏輯信息包括多個數據流轉路徑，每個數據流轉路徑對應處理一個子數據，多個數據流轉路徑和多個子數據之間的映射關系是預設的；服務器根據各個子數據對應的數據流轉路徑，對所述各個子數據進行處理。通過實施本發明實施例，可以實現對包含多種子數據的終端數據實時流式處理。

技術領域

本申請涉及計算機技術領域，尤其涉及一種數據處理方法以及相關設備。

背景技術

當前大數據已廣泛進入企業生產過程，數據逐步變成了生產力，驅動企業快速發展，人們也越來越多的認識到，數據價值挖掘的時效性已經成為了企業競爭力。快數據時代，越實時越有價值，實時流計算已成為核心引擎。

而數據倉庫的數據集成是實時流計算的重要一環。數據集成也叫ETL(抽取：extract、轉換：transform、加載：load)，ETL泛指將數據從數據源頭抽取、經過清洗、轉換、關聯等，并最終按照預先設計的數據模型將數據加載到數據倉庫的過程。然而現有技術僅能按照抽取-過濾-轉化的單一模式進行實時地ETL處理，對于包括多種多樣數據類型的終端數據而言，需要十分復雜的實時處理邏輯，而現有的數據挖掘方案，對于多數據類型的終端數據處理效率較低，無法實現實時流式處理。

發明內容

本申請實施例提供一種數據處理方法，可滿足終端數據的實時流式處理。

第一方面，本申請實施例提供了一種數據處理方法，該方法包括：

服務器接收終端設備發送的終端數據，所述終端數據包括多個子數據；

所述服務器獲取對所述終端數據的處理邏輯信息；其中，所述處理邏輯信息包括多個數據流轉路徑，每個數據流轉路徑對應處理一個子數據，所述多個數據流轉路徑和所述多個子數據之間的映射關系是預設的；

所述服務器根據各個子數據對應的數據流轉路徑，對所述各個子數據進行處理。

在一些可能的實施例中，所述處理邏輯信息包括數據邏輯圖，所述服務器獲取對所述終端數據的處理邏輯信息，包括：所述服務器接收客戶端發送的數據邏輯圖，所述數據邏輯圖表征對所述終端數據中的每個子數據的抽取、過濾、轉換規則，所述抽取、過濾、轉換規則是通過用戶在所述客戶端編輯獲得的；所述服務器根據深度優先遍歷算法遍歷所述數據邏輯圖，從而獲得所述多個數據流轉路徑。

在一些可能的實施例中，所述多個數據流轉路徑中的任一數據流轉路徑包括數據抽取結點，數據過濾結點以及數據轉化結點中的一個或多個，其中所述數據抽取節點用于從所述終端數據中抽取目標子數據，所述數據過濾結點用于剔除所述目標子數據中的無效數值，所述數據轉化結點用于根據預設格式轉化所述目標子數據。

在一些可能的實施例中，所述方法還包括：所述服務器將處理后的各個子數據存儲至數據庫中；所述服務器統計所述數據庫中的各個子數據，獲得所述各個子數據的統計結果；所述服務器向所述客戶端發送各個子數據的統計結果。

在一些可能的實施例中，在所述服務器獲取對所述終端數據的處理邏輯信息之前，所述方法還包括：所述服務器向所述客戶端發送前端界面，所述前端界面用于提供用戶編輯所述數據邏輯圖的操作環境。

在一些可能的實施例中，所述服務器根據各個子數據對應的數據流轉路徑，對所述各個子數據進行處理，包括：所述服務器在Spark?Streaming流式計算框架下，根據各個子數據對應的數據流轉路徑，對所述各個子數據進行處理。