[發明專利]一種數據處理方法、裝置、終端設備及存儲介質

在審

• 申請號: 201711399172.0
• 申請日: 2017-12-22
• 公開（公告）號: CN108153852A
• 公開（公告）日: 2018-06-12
• 發明（設計）人: 楊宏偉
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 譚果林

本發明公開了數據采集技術領域，提供了一種數據處理方法、裝置、終端設備及存儲介質，所述方法包括：獲取按照業務需求預先設置的任務依賴關系，其中，任務依賴關系包括導入任務和加工任務之間的第一執行關系，以及加工任務和導出任務之間的第二執行關系；執行導入任務；若導入任務執行成功，則根據第一執行關系，調度并執行加工任務；若加工任務執行成功，則根據第二執行關系，調度并執行導出任務；若導出任務執行成功，則將導出到關系型數據庫中的目標數據發送給目標用戶。本發明的技術方案實現了在大數據環境下對待處理數據的自動加工以及目標數據的自動導出，減少人工干預，提升了數據下發的時效性。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據處理方法、裝置、終端設備及存儲介質。

背景技術

傳統的關系型數據庫能夠將采集到的目標數據自動導出，并通過郵件系統自動發送給用戶，但是，隨著數據量的不斷增大，越來越多的數據采集平臺基于大數據環境進行數據采集，而在大數據的環境中，常使用HIVE工具對數據進行加工，現有技術中，通過HIVE工具加工得到的目標數據無法直接自動導出，需人工手動導出后再發送給用戶，影響了數據發送的及時性，導致數據下發的時效性較低。

發明內容

本發明實施例提供一種數據處理方法，以解決現有技術中在大數據環境中加工后的目標數據無法直接自動導出，導致數據下發的時效性低的問題。

第一方面，本發明實施例提供一種數據處理方法，包括：

獲取按照業務需求預先設置的任務依賴關系，其中，所述任務依賴關系包括導入任務和加工任務之間的第一執行關系，以及所述加工任務和導出任務之間的第二執行關系，所述導入任務用于將關系型數據庫中的待處理數據導入到大數據服務器，所述加工任務用于在所述大數據服務器中根據所述業務需求對所述待處理數據進行加工，得到目標數據，所述導出任務用于將所述目標數據導出到關系型數據庫；

執行所述導入任務；

若所述導入任務執行成功，則根據所述第一執行關系，調度并執行所述加工任務；

若所述加工任務執行成功，則根據所述第二執行關系，調度并執行所述導出任務；

若所述導出任務執行成功，則將導出到所述關系型數據庫中的所述目標數據發送給目標用戶。

第二方面，本發明實施例提供一種數據處理的裝置，包括：

依賴關系獲取模塊，用于獲取按照業務需求預先設置的任務依賴關系，其中，所述任務依賴關系包括導入任務和加工任務之間的第一執行關系，以及所述加工任務和導出任務之間的第二執行關系，所述導入任務用于將關系型數據庫中的待處理數據導入到大數據服務器，所述加工任務用于在所述大數據服務器中根據所述業務需求對所述待處理數據進行加工，得到目標數據，所述導出任務用于將所述目標數據導出到關系型數據庫；

任務導入模塊，用于執行所述導入任務；

任務加工模塊，用于若所述導入任務執行成功，則根據所述第一執行關系，調度并執行所述加工任務；

任務導出模塊，用于若所述加工任務執行成功，則根據所述第二執行關系，調度并執行所述導出任務；

數據發送模塊，用于若所述導出任務執行成功，則將導出到所述關系型數據庫中的所述目標數據發送給目標用戶。

第三方面，本發明實施例提供一種終端設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現所述數據處理方法的步驟。

第四方面，本發明實施例提供一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現所述數據處理方法的步驟。