[發明專利]一種數據處理方法及裝置

在審

• 申請號: 201710804507.6
• 申請日: 2017-09-08
• 公開（公告）號: CN107688659A
• 公開（公告）日: 2018-02-13
• 發明（設計）人: 陳越晨
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/44
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 王寶筠

1.一種數據處理方法，其特征在于，包括：

接收數據處理任務的基于JSON配置的統一數據處理文件；

解析所述基于JSON配置的統一數據處理文件，得到統一數據處理方式，并選定所述數據處理任務的計算引擎類型；

發送所述統一數據處理方式和所述數據處理任務的計算引擎類型至集群服務器，以使所述集群服務器利用所述數據處理任務的計算引擎類型對應的計算引擎，按照所述統一數據處理方式執行所述數據處理任務。

2.根據權利要求1所述的方法，其特征在于，所述基于JSON配置的統一數據處理文件包括：

定義數據源的代碼、用于實現將所述數據源對應的數據映射為Schema格式數據的代碼、用于實現對所述Schema格式數據進行SQL處理的邏輯代碼和對所述Schema格式數據進行SQL處理后得到的數據的輸出邏輯代碼。

3.根據權利要求2所述的方法，其特征在于，解析所述基于JSON配置的統一數據處理文件，得到統一數據處理方式，包括：

解析所述定義數據源的代碼、所述用于實現將所述數據源對應的數據映射為Schema格式數據的代碼、所述用于實現對所述Schema格式數據進行SQL處理的邏輯代碼和對所述Schema格式數據進行SQL處理后得到的數據的輸出邏輯代碼，得到所述數據處理任務的數據源、所述數據源對應的數據映射為Schema格式的數據、對所述Schema格式的數據進行SQL處理的邏輯和對所述Schema格式的數據進行SQL處理后得到的數據的輸出邏輯。

4.根據權利要求2所述的方法，其特征在于，所述基于JSON配置的統一數據處理文件的生成過程，包括：

利用JSON語言編寫定義數據源的代碼；

利用JSON語言編寫用于實現將所述數據源對應的數據映射為Schema格式數據的代碼；

利用JSON語言編寫用于實現對所述Schema格式數據進行SQL處理的邏輯代碼；

利用JSON語言編寫對所述Schema格式數據進行SQL處理后得到的數據的輸出邏輯代碼。

5.一種數據處理裝置，其特征在于，包括：

接收模塊，用于接收數據處理任務的基于JSON配置的統一數據處理文件；

解析模塊，用于解析所述基于JSON配置的統一數據處理文件，得到統一數據處理方式；

選定模塊，用于選定所述數據處理任務的計算引擎類型；

發送模塊，用于發送所述統一數據處理方式和所述數據處理任務的計算引擎類型至集群服務器，以使所述集群服務器利用所述數據處理任務的計算引擎類型對應的計算引擎，按照所述統一數據處理方式執行所述數據處理任務。

6.根據權利要求5所述的裝置，其特征在于，所述基于JSON配置的統一數據處理文件包括：

定義數據源的代碼、用于實現將所述數據源對應的數據映射為Schema格式數據的代碼、用于實現對所述Schema格式數據進行SQL處理的邏輯代碼和對所述Schema格式數據進行SQL處理后得到的數據的輸出邏輯代碼。

7.根據權利要求6所述的裝置，其特征在于，所述解析模塊包括：

解析單元，用于解析所述定義數據源的代碼、所述用于實現將所述數據源對應的數據映射為Schema格式數據的代碼、所述用于實現對所述Schema格式數據進行SQL處理的邏輯代碼和對所述Schema格式數據進行SQL處理后得到的數據的輸出邏輯代碼，得到所述數據處理任務的數據源、所述數據源對應的數據映射為Schema格式的數據、對所述Schema格式的數據進行SQL處理的邏輯和對所述Schema格式的數據進行SQL處理后得到的數據的輸出邏輯。

8.根據權利要求6所述的裝置，其特征在于，還包括：生成模塊，用于利用JSON語言編寫定義數據源的代碼，及利用JSON語言編寫用于實現將所述數據源對應的數據映射為Schema格式數據的代碼，及利用JSON語言編寫用于實現對所述Schema格式數據進行SQL處理的邏輯代碼，及利用JSON語言編寫對所述Schema格式數據進行SQL處理后得到的數據的輸出邏輯代碼。