[發明專利]多任務調度方法、應用服務器及計算機可讀存儲介質

有效

• 申請號: 201710490454.5
• 申請日: 2017-06-25
• 公開（公告）號: CN107766132B
• 公開（公告）日: 2019-03-15
• 發明（設計）人: 付軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/27
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明公開了一種多任務調度方法，該方法包括步驟：建立一數據平臺與至少一個數據源的第一連接，并建立該數據平臺與該應用服務器的第二連接；接收用戶選擇的需要同步的源表和數據源類型，生成各數據源對應的建表任務和數據同步任務，并將其發布至預設的工作流調度引擎；當用戶選擇的同步開始時間到達時，通過該預設的工作流調度引擎調用預先設置的任務調度接口模板，并將同步參數傳遞至所述任務調度接口模板；根據所述同步參數，調用所述任務調度接口模板中相應的任務執行腳本，執行各數據源對應的建表任務和數據同步任務。本發明可以將API接口調用參數化，數據同步時只需傳遞同步參數即可完成同步任務。

技術領域

本發明涉及計算機信息技術領域，尤其涉及一種多任務調度方法、應用服務器及計算機可讀存儲介質。

背景技術

現有的任務調度接口(如oozie web service API)設計中，需要將依次將不同的指定文件(如執行腳本、調度腳本等)部署到Hadoop分布式文件系統(Hadoop DistributedFile System，HDFS)中，此種設計方式必然需要經過部署流程，不夠便捷。故，現有技術中的任務調度接口設計不夠合理，亟需改進。

發明內容

有鑒于此，本發明提出一種多任務調度方法、應用服務器及計算機可讀存儲介質，將API接口調用參數化，數據同步時只需傳遞同步參數即可完成同步任務，無需部署流程。

首先，為實現上述目的，本發明提出一種應用服務器，所述應用服務器包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的多任務調度系統，所述多任務調度系統被所述處理器執行時實現如下步驟：

建立一數據平臺與至少一個數據源的第一連接，并建立該數據平臺與該應用服務器的第二連接；

接收用戶選擇的需要同步的源表和數據源類型，根據預先解析獲得的各數據源的源表結構，生成各數據源對應的建表任務和數據同步任務，并將所述生成的各數據源對應的建表任務和數據同步任務發布至預設的工作流調度引擎；

當用戶選擇的同步開始時間到達時，通過該預設的工作流調度引擎從指定的文件系統中調用預先設置的任務調度接口模板，并通過該預設的工作流調度引擎將各數據源對應的數據同步任務的同步參數傳遞至所述任務調度接口模板；及

根據各數據源對應的數據同步任務的同步參數，調用所述任務調度接口模板中相應的任務執行腳本，執行各數據源對應的建表任務和數據同步任務。

優選地，所述任務調度接口模板包括參數配置腳本、任務執行腳本、及任務調度腳本，所述參數配置腳本用于接收所述工作流調度引擎傳遞的同步參數，所述任務執行腳本用于根據各數據源對應的數據同步任務的同步參數，執行各數據源對應的建表任務和數據同步任務，所述任務調度腳本用于管理各數據源對應的數據同步任務的執行順序。

優選地，所述任務執行腳本包括用于從第一類型維度表抽取數據的第一執行腳本，用于從第二類型任務表抽取數據的第二執行腳本，及用于從第三類型流水表抽取數據的第三執行腳本。

優選地，所述數據同步任務的執行包括：

調用所述任務調度接口模板中各數據源相應的任務執行腳本，獲取數據同步各個任務所需的資源配置，從各源表中分別抽取相應字段對應的數據，并將抽取的數據分別存入各目標表的相應字段。

優選地，所述數據同步任務的執行包括：

若用戶選擇的需要同步的源表類型為第一類型維度表，則調用所述任務調度接口模板中的第一執行腳本，從各第一類型維度表中分別抽取相應字段對應的第一數據，并將抽取的第一數據分別存入各第一類型目標表的相應字段；