[發明專利]數據導出方法、裝置、計算機設備及調度服務系統

在審

• 申請號: 202210084527.1
• 申請日: 2022-01-25
• 公開（公告）號: CN114416438A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 熊輝
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F11/20
• 分類號: G06F11/20;G06F16/21;G06F16/25
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 唐彩琴

本申請涉及一種數據導出方法、裝置、計算機設備、存儲介質、計算機程序產品和調度服務系統，涉及大數據技術領域，可以應用于金融科技領域或其它領域。所述方法包括：向第一目標計算節點發送第一數據導出指令，指示第一目標計算節點從目標數據所屬的數據庫中獲取目標數據并存儲于共享存儲空間；在監測到第一目標計算節點的設備狀態為故障狀態的情況下，確定第二目標計算節點，并向第二目標計算節點發送第二數據導出指令，以使第二目標計算節點在確定共享存儲空間中包含目標數據的情況下，從共享存儲空間中獲取目標數據發送給目標服務器。采用本方法能夠避免在數據導出過程中數據容易丟失的問題，提高數據導出的安全性和可靠性。

技術領域

本申請涉及大數據技術領域，特別是涉及一種數據導出方法、裝置、計算機設備、存儲介質、計算機程序產品和調度服務系統。

背景技術

隨著數據量產生速度越來越快，出現了大數據平臺技術。通過大數據平臺統一管理、集中存儲大數據資源，可以滿足大數據對高性能計算能力和大容量存儲能力的需求，并能提供數據采集、數據計算、數據存儲、數據分析，數據可視化等大量開發能力。各應用可以在大數據平臺上進行數據開發，具體的，各應用將數據導入到大數據平臺的大數據集群進行集中存放，然后每個應用可以根據作業需要，在大數據平臺批量加工數據，并將加工后的數據導出到應用服務器以便查詢使用。

其中，為了各應用之間的解耦合，各應用之間不能相互訪問對方的數據庫，只能通過接口或者文件的方式來交互，因此，導出加工后的數據時，會先將數據導出在大數據平臺調度服務器的數據導出節點，進而由該數據導出節點將數據發送給應用服務器。

相關技術中，數據導出節點包括任務執行(執行數據導出任務)和數據存儲，即數據導出節點導出數據后先進行本地存儲，然后將本地存儲的數據發送給應用服務器。然而，若該數據導出節點出現故障，則存儲在該數據導出節點的數據容易丟失，將造成較大損失。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠解決數據易丟失問題的數據導出方法、裝置、計算機設備、存儲介質、計算機程序產品和調度服務系統。

第一方面，本申請提供了一種數據導出方法，所述方法應用于調度服務系統中的控制節點，所述方法包括：

向所述調度服務系統中的第一目標計算節點發送針對目標數據的第一數據導出指令；所述第一數據導出指令用于指示所述第一目標計算節點從所述目標數據所屬的數據庫中獲取所述目標數據，并將所述目標數據存儲于共享存儲空間；所述共享存儲空間用于存儲所述調度服務系統中各計算節點從數據庫中導出的數據；

在監測到所述第一目標計算節點的設備狀態為故障狀態的情況下，在所述各計算節點中確定第二目標計算節點；

向所述第二目標計算節點發送針對所述目標數據的第二數據導出指令，以使所述第二目標計算節點在確定所述共享存儲空間中包含所述目標數據的情況下，從所述共享存儲空間中獲取所述目標數據，將所述目標數據發送給所述第二數據導出指令包含的目標服務器地址對應的目標服務器。

在其中一個實施例中，所述在所述各計算節點中確定第二目標計算節點，包括：

接收每個所述計算節點按照預設周期發送的心跳信息、當前運行任務數和最大運行任務數；

根據每個所述計算節點對應的心跳信息、當前運行任務數和最大運行任務數，確定每個所述計算節點對應的運行狀態信息；

根據每個所述計算節點對應的運行狀態信息，確定運行狀態信息滿足預設選取條件的第二目標計算節點。

在其中一個實施例中，所述運行狀態信息包括設備狀態和任務運行率；

所述根據每個所述計算節點對應的心跳信息、當前運行任務數和最大運行任務數，確定每個所述計算節點對應的運行狀態信息，包括：