[發明專利]數據處理方法及裝置

有效

• 申請號: 201610098936.1
• 申請日: 2016-02-23
• 公開（公告）號: CN105573836B
• 公開（公告）日: 2018-12-28
• 發明（設計）人: 劉志丹;王鑫毅;劉龍;曹震;于雪龍
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 薛嬌;王寶筠

本發明實施例公開了一種數據處理方法及裝置，用有向圖表示數據處理模型，在接收到客戶端發送的攜帶有節點列表的指令時，對節點列表中的任意一節點，若該節點的父節點對應的數據集未被處理，則優先對該節點的父節點對應的數據集進行處理，若該節點的父節點對應的數據集已被處理，則直接從執行上下文讀取父節點的輸出數據集作為該節點的輸入數據集，基于該節點對應的數據集對該節點的輸入數據集進行處理，生成該節點的輸出數據集，將該節點的輸出數據集記入執行上下文。可見，本發明實施例提供的數據處理方法，已被成功處理的節點的數據集不再重復處理，實現只對部分節點的數據進行處理，從而提高數據處理效率。

技術領域

本發明涉及數據處理技術領域，更具體地說，涉及一種數據處理方法及裝置。

背景技術

Spark是一種高效的分布式計算系統，Spark可以在太字節(TB)級別的數據規模下，進行數據挖掘與分析。要使用Spark進行數據處理，需要掌握Java、Scala、Python三種語言中的一種，通常分析人員需要將數據分析的場景用以上三種語言之一實現為固定的程序，然后將程序編譯為機器可識別的文件，通過Java虛擬機加載并解釋執行該文件。

但在數據分析的場景中，分析人員往往在初期沒有明確的分析思路，需要在數據上使用各種統計算法進行嘗試，最終結合經驗將最有效或可解釋的數據分析過程固化下來。在這個過程中，分析人員需要對程序進行大量的改動，而每次改動都需要對程序文件重新進行編譯、執行的流程，這帶來兩方面的不便：一是每次程序文件的修改、編譯、執行都需要花費分析人員一定的時間，二是程序的重新執行將導致數據處理流程中所有節點需要全部重新執行，在大數據處理背景下程序的執行周期將非常耗時，分析人員需要浪費大量的時間等待修改后程序的結果。數據處理效率整體較低。

因此如何提高數據處理效率成為亟待解決的問題。

發明內容

本發明的目的是提供一種數據處理方法及裝置，以提高數據處理效率。

為實現上述目的，本發明提供了如下技術方案：

一種數據處理方法，包括：

基于客戶端發送的數據處理模型描述文件獲取與所述數據處理模型描述文件對應的數據處理模型對象實例；所述數據處理模型描述文件由數據處理模型轉換得到，所述數據處理模型為有向圖，所述有向圖中的節點包括，包含至少一個父節點的操作節點和不包含任何父節點的數據源節點，所述有向圖中的每一個節點對應一個數據集；

當接收到客戶端發送的攜帶有由所述數據處理模型對象實例中的若干節點構成的節點列表的執行指令時，對于所述節點列表中的第一節點，若所述第一節點的輸入數據來自于所述第一節點的父節點，且所述第一節點的父節點所對應的數據集未被成功處理，則將所述第一節點的父節點加入所述節點列表并優先處理；若所述第一節點的輸入數據來自于所述第一節點的父節點，且所述第一節點的父節點所對應的數據集已被成功處理，則從執行上下文獲取所述第一節點的父節點的輸出數據集作為所述第一節點的輸入數據集，基于所述第一節點對應的數據集對所述第一節點的輸入數據集進行處理，生成所述第一節點的輸出數據集，將所述第一節點的輸出數據集記入執行上下文；所述第一節點為所述節點列表中的任意一節點。

上述方法，優選的，所述基于客戶端發送的數據處理模型描述文件獲取與所述數據處理模型描述文件對應的數據處理模型對象實例包括：

將所述客戶端發送的數據處理模型描述文件轉化為第一數據處理模型對象實例；

依據數據處理模型的唯一識別碼判斷所述數據處理模型描述文件是否被創建過數據處理模型對象實例；

若所述數據處理模型描述文件未被創建過數據處理模型對象實例，則將所述第一數據處理模型對象實例確定為與所述數據處理模型描述文件對應的數據處理模型對象實例；