[發明專利]Spark任務的測試方法、裝置、設備、介質

在審

• 申請號: 202210442036.X
• 申請日: 2022-04-25
• 公開（公告）號: CN114817032A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 雷志勇
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 尹長斌

1.一種Spark任務的測試方法，其特征在于，包括：

獲取待測試的目標Spark任務，所述目標Spark任務包括多個功能對象，所述功能對象預設有校驗參數；

將記載有調用語句的功能對象確定為待鑒權功能對象，根據所述調用語句確定所述待鑒權功能對象的調用功能對象；

根據所述調用功能對象的校驗參數，從預設的鑒權信息表中獲取目標鑒權信息；

根據所述目標鑒權信息確定所述待鑒權功能對象的調用鑒權結果；

當所述調用鑒權結果表征所述待鑒權功能對象的鑒權通過，將所述待鑒權功能對象為可測試功能對象；

當全部待鑒權功能對象被確定為所述可測試功能對象，執行所述目標Spark任務的功能測試，得到所述目標Spark任務的目標測試結果。

2.根據權利要求1所述的一種Spark任務的測試方法，其特征在于，所述目標鑒權信息包括Spark標識和校驗標識，所述根據所述目標鑒權信息確定所述待鑒權功能對象的調用鑒權結果，包括：

確定所述目標Spark任務的任務標識；

當所述任務標識與所述Spark標識相匹配，且所述校驗標識表征校驗通過，確定所述待鑒權功能對象的調用鑒權結果為鑒權通過。

3.根據權利要求2所述的一種Spark任務的測試方法，其特征在于，所述目標鑒權信息還包括目標用戶信息，在所述獲取待測試的目標Spark任務之前，所述方法還包括：

獲取針對所述功能對象的更新信息，所述更新信息攜帶有操作用戶信息和對象修改信息；

當所述操作用戶信息與所述目標用戶信息相匹配，且所對應的所述校驗標識表征校驗通過，根據所述對象修改信息更新所述功能對象。

4.根據權利要求1所述的一種Spark任務的測試方法，其特征在于，所述目標Spark任務包括多個任務文件，每個所述任務文件記載有至少一個所述功能對象所對應的程序集，所述執行所述目標Spark任務的功能測試，得到所述目標Spark任務的目標測試結果，包括：

將全部的所述任務文件保存至目標存儲磁盤；

對所述任務文件進行解析和功能測試，得到功能測試數據和功能測試結果；

將每個所述任務文件所對應的所述功能測試數據和所述功能測試結果保存至所述目標存儲磁盤。

5.根據權利要求4所述的一種Spark任務的測試方法，其特征在于，所述將全部的所述任務文件保存至目標存儲磁盤，包括：

確定每個所述任務文件的文件格式；

當所述任務文件的文件格式屬于預設格式，將所述任務文件保存至所述目標存儲磁盤；

或者，

當所述任務文件的文件格式不屬于所述預設格式，將所述任務文件的文件格式轉換成所述預設格式，并保存至所述目標存儲磁盤；

其中，所述預設格式為Spark程序支持解析的文件格式。

6.根據權利要求1所述的一種Spark任務的測試方法，其特征在于，所述執行所述目標Spark任務的功能測試，包括：

獲取與所述目標Spark任務所對應的目標測試腳本，確定所述目標測試腳本的資源需求；

將所述目標測試腳本輸入至腳本運行隊列，確定所述腳本運行隊列的可用資源數；

當所述可用資源數滿足所述資源需求，根據所述資源需求為所述目標測試腳本分配目標測試資源，或者，當所述可用資源數不滿足所述資源需求，根據所述可用資源數分配所述目標測試資源；

根據所述目標測試資源運行所述目標測試腳本。

7.根據權利要求6所述的一種Spark任務的測試方法，其特征在于，在當所述可用資源數滿足所述資源需求，根據所述資源需求為所述目標測試腳本分配目標測試資源之后，所述方法還包括：

確定所述腳本運行隊列的測試資源數和生產資源數，所述測試資源數為所述腳本運行隊列中用于運行功能測試的資源數，所述生產資源數為所述腳本運行隊列中用于系統運行的資源數；

將所述測試資源數和所述生產資源數的比值確定為目標占比；

根據預設比例降低所述目標占比，以使所述腳本運行隊列增加所述生產資源數。