[發明專利]基于深度強化學習的Web服務眾包測試任務分配方法

有效

• 申請號: 201910834368.0
• 申請日: 2019-09-03
• 公開（公告）號: CN110554964B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 郭世凱;陳榮;張佳麗;唐文君;李輝
• 申請（專利權）人: 大連海事大學
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06Q10/0631;G06Q10/1057
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 姜玉蓉;李洪福

本發明公開了一種基于深度強化學習的Web服務眾包測試任務分配方法，包括：根據眾包平臺上的工人池和任務池內的數據信息、對深度強化學習的Web服務測試任務分配模型進行訓練；眾包平臺接收需求者提交的測試任務，使用完成訓練的Web服務測試任務分配模型進行測試任務的分配；工人接受并執行任務、將任務測試結果反饋給眾包平臺，眾包平臺將工人反饋的測試結果傳送給相應的任務需求者。本方法通過使用深度強化學習方法DQN來訓練Web服務測試任務分配模型，達到了對Web服務眾包測試任務進行實時分配的效果，可以在一定程度上保證測試任務能夠交由眾包測試平臺上比較合適的測試人員來處理，提升了測試效果。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于深度強化學習的Web服務眾包測試任務分配方法。

背景技術

隨著Web服務的應用越來越廣泛，對其能否正常執行并達到預期功能效果的需求也日益迫切。為確保Web服務滿足其預期的功能和質量要求，必須對其進行全面測試。對Web服務進行測試需要測試人員具有一定程度的相關知識和能力，比如測試用例設計能力、相應的編程能力和測試報告撰寫能力等。在這種情況下，傳統的測試方法和測試工具難以滿足上述要求。

近年來出現的眾包測試形式可以很好地考慮合適測試人員的選擇問題，以提高服務測試的效果。但是，在眾包測試中，如何將測試任務分配給更合適的測試人員，同時又以盡可能低的測試成本來獲得更好的測試結果是一個非常重要的問題。比較常見的方法是將這類眾包測試任務分配問題規約為一個優化問題來處理，將該問題建模為一個約束求解問題，使用精確式算法或啟發式算法對其進行優化求解，但眾包平臺上時刻有新任務和新工人加入，這種方式在每次分配時都需要大量計算，因此，它更適合解決離線眾包測試任務分配問題。對于眾包測試環境中的Web服務測試任務分配問題，更希望能夠在線進行測試任務分配。

發明內容

根據現有技術存在的問題，本發明公開了一種基于深度強化學習的Web服務眾包測試任務分配方法，具體包括如下步驟：

根據眾包平臺上的工人池和任務池內的數據信息、對深度強化學習的Web服務測試任務分配模型進行訓練；

眾包平臺接收需求者提交的測試任務，使用完成訓練的Web服務測試任務分配模型進行測試任務的分配；

工人接受并執行任務、將任務測試結果反饋給眾包平臺，眾包平臺將工人反饋的測試結果傳送給相應的任務需求者。

進一步的，所述采用深度強化學習的Web服務測試任務分配模型進行訓練具體方式為：

將每個測試任務定義為深度強化學習網絡的一個狀態s、為每個測試任務選擇某個測試工人作為一個動作a、將強化學習中的回報值r設置為任務s分配給測試工人a得到的任務完成質量；

設置三項約束條件分別為：測試工人的能力大于測試任務的難度等級，測試任務分配至測試工人需要支付的報酬小于測試任務的最大成本，每個測試工人執行任務的數量小于設定閾值；

將每個測試任務s傳遞給當前Q值網絡，當前Q值網絡反饋出使Q值最大的動作a、同時滿足三項約束條件，即動作a為當前任務s選擇的工人，將當前任務選擇的結果作為一個組合(s,a,r,s')存儲至回放記憶單元中、其中s'為下一個需要分配的任務；

使用回放記憶單元中的數據對當前Q值網絡和目標Q值網絡進行參數學習更新：將回放記憶單元中的一條數據(s,a)對傳遞給當前Q值網絡；

當前Q值網絡輸出其對應的Q值Q(s,a)、并將Q(s,a)傳遞給DQN誤差函數，將回放記憶單元中該條數據中的下一個任務s'傳遞給目標Q值網絡，目標Q值網絡輸出使s'的Q值最大的動作a'，并將得到的最大Q值MaxQ(s',a')傳遞給DQN誤差函數，將回放記憶單元中該條數據的回報值r傳遞給DQN誤差函數。