[發(fā)明專利]Spark任務的測試方法、裝置、設(shè)備、介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210442036.X
• 申請日: 2022-04-25
• 公開（公告）號: CN114817032A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 雷志勇
• 申請（專利權(quán)）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 廣州嘉權(quán)專利商標事務所有限公司 44205
• 代理人: 尹長斌

本發(fā)明屬于人工智能領(lǐng)域，提供了一種Spark任務的測試方法、裝置、設(shè)備、介質(zhì)，方法包括：獲取包括多個功能對象的目標Spark任務，功能對象預設(shè)有校驗參數(shù)；確定待鑒權(quán)功能對象，根據(jù)所述調(diào)用語句確定所述待鑒權(quán)功能對象的調(diào)用功能對象；根據(jù)所述調(diào)用功能對象的校驗參數(shù)，從預設(shè)的鑒權(quán)信息表中獲取目標鑒權(quán)信息；根據(jù)所述目標鑒權(quán)信息確定所述待鑒權(quán)功能對象的調(diào)用鑒權(quán)結(jié)果，當全部待鑒權(quán)功能對象鑒權(quán)通過后執(zhí)行功能測試，得到目標測試結(jié)果。根據(jù)本實施例的技術(shù)方案，能夠根據(jù)鑒權(quán)信息表記載的鑒權(quán)信息，在測試目標Spark任務之前對功能對象的調(diào)用權(quán)限進行鑒權(quán)，在鑒權(quán)通過后執(zhí)行測試，有效避免了調(diào)用錯誤導致的測試失敗，提高了測試效率。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)領(lǐng)域，尤其涉及一種Spark任務的測試方法、裝置、設(shè)備、介質(zhì)。

背景技術(shù)

Spark是一種用于大規(guī)模數(shù)據(jù)處理的計算引擎,在應用Spark的大數(shù)據(jù)業(yè)務系統(tǒng)中，通過將大量數(shù)據(jù)集計算的Spark任務分配到多臺設(shè)備上執(zhí)行，能夠?qū)崿F(xiàn)大數(shù)據(jù)的高效任務處理。由于Spark任務的程序規(guī)模較大，程序集或者函數(shù)等功能對象之間的調(diào)用十分常見，一旦出現(xiàn)功能對象的調(diào)用錯誤，會導致數(shù)據(jù)沖突或者結(jié)果數(shù)據(jù)被覆寫，影響Spark任務的正常運行。為了避免功能對象的調(diào)用錯誤，目前的方法是在Spark任務的測試過程中由測試人員進行錯誤數(shù)據(jù)的回溯，并將錯誤根因反饋給開發(fā)人員進行維護，工作效率非常低下。

發(fā)明內(nèi)容

以下是對本文詳細描述的主題的概述。本概述并非是為了限制權(quán)利要求的保護范圍。

本發(fā)明實施例提供了一種Spark任務的測試方法、裝置、設(shè)備、介質(zhì)，能夠在測試之前對功能對象的調(diào)用進行鑒權(quán)，自動發(fā)現(xiàn)功能對象的錯誤調(diào)用，提高Spark任務的測試效率。

第一方面，本發(fā)明實施例提供了一種Spark任務的測試方法，包括：

獲取待測試的目標Spark任務，所述目標Spark任務包括多個功能對象，所述功能對象預設(shè)有校驗參數(shù)；

將記載有調(diào)用語句的功能對象確定為待鑒權(quán)功能對象，根據(jù)所述調(diào)用語句確定所述待鑒權(quán)功能對象的調(diào)用功能對象；

根據(jù)所述調(diào)用功能對象的校驗參數(shù)，從預設(shè)的鑒權(quán)信息表中獲取目標鑒權(quán)信息；

根據(jù)所述目標鑒權(quán)信息確定所述待鑒權(quán)功能對象的調(diào)用鑒權(quán)結(jié)果；

當所述調(diào)用鑒權(quán)結(jié)果表征所述待鑒權(quán)功能對象的鑒權(quán)通過，將所述待鑒權(quán)功能對象為可測試功能對象；

當全部待鑒權(quán)功能對象被確定為所述可測試功能對象，執(zhí)行所述目標Spark任務的功能測試，得到所述目標Spark任務的目標測試結(jié)果。

在一些實施例中，所述目標鑒權(quán)信息包括Spark標識和校驗標識，所述根據(jù)所述目標鑒權(quán)信息確定所述待鑒權(quán)功能對象的調(diào)用鑒權(quán)結(jié)果，包括：

確定所述目標Spark任務的任務標識；

當所述任務標識與所述Spark標識相匹配，且所述校驗標識表征校驗通過，確定所述待鑒權(quán)功能對象的調(diào)用鑒權(quán)結(jié)果為鑒權(quán)通過。

在一些實施例中，所述目標鑒權(quán)信息還包括目標用戶信息，在所述獲取待測試的目標Spark任務之前，所述方法還包括：

獲取針對所述功能對象的更新信息，所述更新信息攜帶有操作用戶信息和對象修改信息；

當所述操作用戶信息與所述目標用戶信息相匹配，且所對應的所述校驗標識表征校驗通過，根據(jù)所述對象修改信息更新所述功能對象。

在一些實施例中，所述目標Spark任務包括多個任務文件，每個所述任務文件記載有至少一個所述功能對象所對應的程序集，所述執(zhí)行所述目標Spark任務的功能測試，得到所述目標Spark任務的目標測試結(jié)果，包括：