[發明專利]一種數據處理方法、裝置、終端設備及存儲介質

在審

• 申請號: 201711399172.0
• 申請日: 2017-12-22
• 公開（公告）號: CN108153852A
• 公開（公告）日: 2018-06-12
• 發明（設計）人: 楊宏偉
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 譚果林

1.一種數據處理方法，其特征在于，所述數據處理方法包括：

獲取按照業務需求預先設置的任務依賴關系，其中，所述任務依賴關系包括導入任務和加工任務之間的第一執行關系，以及所述加工任務和導出任務之間的第二執行關系，所述導入任務用于將關系型數據庫中的待處理數據導入到大數據服務器，所述加工任務用于在所述大數據服務器中根據所述業務需求對所述待處理數據進行加工，得到目標數據，所述導出任務用于將所述目標數據導出到關系型數據庫；

執行所述導入任務；

若所述導入任務執行成功，則根據所述第一執行關系，調度并執行所述加工任務；

若所述加工任務執行成功，則根據所述第二執行關系，調度并執行所述導出任務；

若所述導出任務執行成功，則將導出到所述關系型數據庫中的所述目標數據發送給目標用戶。

2.如權利要求1所述的數據處理方法，其特征在于，所述執行所述導入任務包括：

獲取待連接的目標數據庫的連接信息；

根據所述連接信息連接所述目標數據庫；

創建用于在大數據環境中存放導入數據的第一數據表；

使用sqoop導入工具將所述待處理數據導入到所述第一數據表中。

3.如權利要求2所述的數據處理方法，其特征在于，所述若所述導入任務執行成功，則根據所述第一執行關系，調度并執行所述加工任務包括：

創建用于在所述大數據環境中存放加工后的所述目標數據的第二數據表；

根據所述業務需求，對所述第一數據表中的數據進行加工，得到所述目標數據；

將所述目標數據保存在所述第二數據表中。

4.如權利要求3所述的數據處理方法，其特征在于，所述若所述加工任務執行成功，則根據所述第二執行關系，調度并執行所述導出任務包括：

創建用于在關系型數據庫中存放所述目標數據的第三數據表；

使用sqoop導出工具將所述第二數據表中保存的所述目標數據導出到所述第三數據表中；

根據所述導出任務的標識信息，在預存的導出標識表中將該標識信息對應的完成狀態設置為導出完成，其中，所述導出標識表包含導出任務的標識信息和完成狀態，所述標識信息用于唯一標識所述導出任務，所述完成狀態用于標識所述導出任務是否完成。

5.如權利要求4所述的數據處理方法，其特征在于，所述若所述導出任務執行成功，則將導出到所述關系型數據庫中的所述目標數據發送給目標用戶包括：

定期讀取所述導出標識表中所述導出任務的標識信息對應的完成狀態；

若所述完成狀態為導出完成，則確認所述導出任務執行完成，并將所述第三數據表中的目標數據發送給所述目標客戶。

6.一種數據處理裝置，其特征在于，所述數據處理裝置包括：

依賴關系獲取模塊，用于獲取按照業務需求預先設置的任務依賴關系，其中，所述任務依賴關系包括導入任務和加工任務之間的第一執行關系，以及所述加工任務和導出任務之間的第二執行關系，所述導入任務用于將關系型數據庫中的待處理數據導入到大數據服務器，所述加工任務用于在所述大數據服務器中根據所述業務需求對所述待處理數據進行加工，得到目標數據，所述導出任務用于將所述目標數據導出到關系型數據庫；

任務導入模塊，用于執行所述導入任務；

任務加工模塊，用于若所述導入任務執行成功，則根據所述第一執行關系，調度并執行所述加工任務；

任務導出模塊，用于若所述加工任務執行成功，則根據所述第二執行關系，調度并執行所述導出任務；

數據發送模塊，用于若所述導出任務執行成功，則將導出到所述關系型數據庫中的所述目標數據發送給目標用戶。

7.如權利要求6所述的數據處理裝置，其特征在于，任務導入模塊包括：

連接信息獲取子模塊，用于獲取待連接的目標數據庫的連接信息；

數據庫連接子模塊，用于根據所述連接信息連接所述目標數據庫；

第一創建子模塊，用于創建用于在大數據環境中存放導入數據的第一數據表；

數據導入子模塊，用于使用sqoop導入工具將所述待處理數據導入到所述第一數據表中。