[發明專利]任務執行方法、裝置和服務器

有效

• 申請號: 201710003855.3
• 申請日: 2017-01-04
• 公開（公告）號: CN108280023B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 單立明;鐘陳練;匡林林
• 申請（專利權）人: 深圳市中興通訊技術服務有限責任公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F8/73
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 姜春咸;馮建基

本發明公開了一種任務執行方法、裝置和服務器，該方法包括讀取任務對應的任務描述文件，任務描述文件中記錄用于執行任務的數據庫公共包的路徑、用于表示任務的實體的數據庫腳本文件的路徑、以及任務對應的第一參數，第一參數用于替換數據庫腳本文件中的變量；將數據庫腳本文件推送到計算節點，計算節點處具有數據庫公共包；根據數據庫公共包的路徑調用數據庫公共包，通過數據庫公共包按數據庫腳本文件的路徑,獲取數據庫腳本文件并使用第一參數替換數據庫腳本文件中的變量，以及執行數據庫腳本文件，得到任務的執行結果。根據本發明，大大降低代碼重復的同時，讓任務變得更加簡單，節約人力。

技術領域

本發明涉及計算機技術領域，尤其涉及一種任務執行方法、裝置和服務器。

背景技術

Spark是一個圍繞速度、易用性和復雜分析構建的大數據處理框架：通過在數據處理過程中成本更低的Suffle(數據清洗算法)方式，將MapReduce(一種編程模型)提升到一個更高的層次；利用內存數據存儲和接近實時的處理能力，其性能比其他大數據處理技術要快很多倍。

傳統數據清洗任務，往往需要開發大量的代碼來支撐，當清洗任務很多的時候，往往工程包會變得臃腫不堪，從而帶來各種弊端。例如：1.代碼重復率高，人力浪費嚴重。當工程很大的時候，不同的開發人員之間會存在相當一部分的重復功能代碼，再合并代碼復雜度，將會大大浪費人力資源。2.代碼維護成本太高。若當工程運行時發現某個任務存在漏洞，需要調整，勢必要停掉整個工程，這樣將導致大多數良好任務等待一個問題任務的情況，造成環境資源的嚴重浪費。3.代碼靈活性差。當需要交付時，若某幾個任務代碼存在問題，會導致項目整體無法交付。4.代碼調試、運行、轉移等不便。由于任務多而導致的工程變大，會使代碼的調試、運行時間變得更長，會使代碼轉移變得艱難。

發明內容

本發明的目的在于提供一種任務執行方法、裝置和服務器,以解決傳統清洗任務代碼重復、工程過大、任務管理不便中的至少一個難題。

本發明解決上述技術問題所采用的技術方案如下：

提供的一種任務執行方法，包括：讀取任務對應的任務描述文件，所述任務描述文件中記錄用于執行所述任務的數據庫公共包的路徑、用于表示所述任務的實體的數據庫腳本文件的路徑、以及所述任務對應的第一參數，所述第一參數用于替換所述數據庫腳本文件中的變量將所述數據庫腳本文件推送到計算節點，所述計算節點處具有所述數據庫公共包；根據所述數據庫公共包的路徑調用所述數據庫公共包，通過所述數據庫公共包按所述數據庫腳本文件的路徑,獲取所述數據庫腳本文件并使用所述第一參數替換所述數據庫腳本文件中的變量，以及執行所述數據庫腳本文件，得到所述任務的執行結果。

可選地，前述的方法，所述任務描述文件中還記錄任務配置文件的路徑，所述任務配置文件記錄用于替換所述數據庫腳本文件的門限值的第二參數；所述方法還包括：將所述任務配置文件推送到所述計算節點；通過所述數據庫公共包按獲取所述任務配置文件中的所述第二參數來替換所述數據庫腳本文件中的門限值。

可選地，前述的方法，獲取所述數據庫腳本文件并使用所述第一參數替換所述數據庫腳本文件中的變量，具體包括：根據預設的數據交換語言，將所述任務描述文件生成相應的數據交換文件，從所述數據交換文件中提取所述第一參數來替換所述數據庫腳本文件中的變量。

可選地，前述的方法，還包括：根據所述任務的優先級、所述任務所需數據是否已獲取，將所述任務添加到記錄有按順序排列的一個或多個任務的任務列表中；根據所述任務在所述任務列表中的順序，從所述任務列表中讀取所述任務后，執行獲取所述數據庫腳本文件并使用所述第一參數替換所述數據庫腳本文件中的變量，以及根據所述數據庫公共包的路徑調用所述數據庫公共包執行所述數據庫腳本文件，得到所述任務的執行結果。

可選地，前述的方法，所述任務描述文件中包括所述任務對應的輸入表的信息、輸出表的信息；調用所述數據庫公共包執行所述數據庫腳本文件，具體包括：從所述輸入表獲取所述數據庫腳本的輸入數據并執行所述數據庫腳本文件，將得到的結果加入所述輸出表中。