[發明專利]一種數據處理方法和裝置

在審

• 申請號: 201710146595.5
• 申請日: 2017-03-13
• 公開（公告）號: CN106934024A
• 公開（公告）日: 2017-07-07
• 發明（設計）人: 崔金夢;唐旋;王傳超
• 申請（專利權）人: 山東浪潮云服務信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 李世喆

技術領域

本發明涉及數據處理技術領域，特別涉及一種數據處理方法和裝置。

背景技術

隨著云計算技術的不斷發展，產生了海量的數據。如何對海量的數據進行整合以作為決策的參考，是人們一直關心的問題。

在實際應用場景中，人們常常需要從不同的數據源提取數據，并分別對每一個數據源中的數據進行處理。例如，分別從A、B、C三個數據源提取數據A1、B1、C1，分別對數據A1、B1、C1進行格式轉換、異常檢測等處理。

但是，現有的方法需要對每一個數據源提取的數據分別進行處理，數據的處理效率較低。

發明內容

本發明實施例提供了一種數據處理方法和裝置，能夠提高數據的處理效率。

第一方面，本發明實施例提供了一種數據處理方法，包括：

從外部的至少兩個數據源分別提取至少一條數據記錄；

對所述至少一條數據記錄進行數據集成，生成數據集；

將所述數據集進行數據轉換，形成具有統一數據格式的目標數據集；

對所述目標數據集進行數據異常檢測，生成待處理數據集；

合并所述待處理數據集中重復的數據記錄，生成共享數據集；

將所述共享數據集裝載到預先創建的共享數據庫，以將所述共享數據集共享給外部的用戶。

優選地，

所述合并所述待處理數據集中重復的數據記錄，生成共享數據集，包括：

確定至少一個排序關鍵字；

根據所述至少一個排序關鍵字，對所述待處理數據集中的數據記錄進行排序；

根據所述待處理數據集中的所述數據記錄的順序，合并重復的所述數據記錄，生成所述共享數據集。

優選地，

進一步包括：預先設置滑動窗口；

所述根據所述待處理數據集中的所述數據記錄的順序，合并重復的所述數據記錄，生成所述共享數據集，包括：

S0：確定所述滑動窗口在排序后的所述數據記錄中的初始位置，使得排序后的所述數據記錄中第一位的所述數據記錄位于所述滑動窗口中；

S1：確定所述滑動窗口中的當前數據記錄；

S2：判斷所述當前數據記錄中是否存在相同的所述數據記錄，如果是，將相同的所述數據記錄進行合并，并執行S3，否則，執行S4；

S3：判斷排在最后一位的所述數據記錄是否在所述滑動窗口中，如果是，根據合并后的所述數據記錄，生成所述共享數據集，否則，執行S4；

S4：按照所述數據記錄的順序，將所述滑動窗口向后滑動一位，并執行S1。

優選地，

進一步包括：預先設置排序關鍵字與標記值的映射關系；

所述根據所述至少一個排序關鍵字，對所述待處理數據集中的數據記錄進行排序，包括：

針對每一個所述數據記錄，執行：

確定所述待處理數據集中的當前數據記錄包含的至少一個目標排序關鍵字；

根據所述映射關系，確定每個所述目標排序關鍵字對應的目標標記值；

將所述至少一個目標排序關鍵字對應的所述目標標記值之和作為所述數據記錄的總標記值；

根據所述待處理數據集中的每個所述數據記錄的總標記值的大小，對所述待處理數據集中的所述數據記錄進行排序。

優選地，

所述將所述共享數據集裝載到預先創建的共享數據庫，包括：

針對每一個所述數據記錄，執行：

判斷所述共享數據集中的當前數據記錄是否為預先創建的所述共享數據庫中已有的數據記錄，如果是，為所述共享數據集中的所述當前數據記錄添加時間戳，將攜帶所述時間戳的所述共享數據集中的所述當前數據記錄裝載到所述共享數據庫，否則，將所述共享數據集中的所述當前數據記錄裝載到所述共享數據庫。

第二方面，本發明實施例提供了一種數據處理裝置，包括：

處理單元，用于從外部的至少兩個數據源分別提取至少一條數據記錄；對所述至少一條數據記錄進行數據集成，生成數據集；將所述數據集進行數據轉換，形成具有統一數據格式的目標數據集；對所述目標數據集進行數據異常檢測，生成待處理數據集；

合并單元，用于合并所述處理單元生成的所述待處理數據集中重復的數據記錄，生成共享數據集；

裝載單元，用于將所述合并單元生成的所述共享數據集裝載到預先創建的共享數據庫，以將所述共享數據集共享給外部的用戶。

優選地，

所述合并單元，包括：

確定子單元，用于確定至少一個排序關鍵字；