[發明專利]用于失敗代碼驗證的測試結果分類

在審

• 申請號: 201980088340.5
• 申請日: 2019-12-31
• 公開（公告）號: CN113287096A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: J·豪博爾德;J·P·達索薩桑托斯
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 李光穎

在本文中公開了用于對失敗代碼驗證的測試結果進行分類的系統、方法和軟件。接收指示在客戶端設備中執行的失敗代碼驗證的測試結果。根據所述測試結果來生成指示在所述失敗代碼驗證期間發生的一種或多種失敗模式的失敗數據。通過將所述一種或多種失敗模式中的每種失敗模式與先前識別出的失敗模式進行比較，來確定與所述一種或多種失敗模式中的每種失敗模式相關聯的后續動作。基于確定出的與所述一種或多種失敗模式中的每種失敗模式相關聯的后續動作，來向所述客戶端設備傳送指令。

技術領域

本公開的各方面涉及計算硬件和軟件技術，并且具體涉及對失敗代碼驗證的測試結果進行分類。

背景技術

諸如計算機、平板計算機、移動電話、可穿戴設備等現代電子設備已經成為現代生活中的常見部分。電子設備的許多用戶常規地利用各種類型的軟件應用進行商業和個人活動。軟件應用的示例能夠包括文字處理器、電子表格應用、電子郵件客戶端、筆記軟件、演示應用、游戲、計算軟件等。這些軟件應用還能夠被用于執行計算、產生圖表、組織數據、接收和發送電子郵件、與他人實時通信等。軟件應用的范圍能夠從簡單的軟件到非常復雜的軟件。

對復雜軟件的開發常常由軟件開發人員的團隊來執行。當已經添加或修改軟件代碼時，測試通常是針對受控的環境來運行的。這些測試提供關于代碼的輸出是否符合預期和可重復的反饋。如果測試通過，則測試指示代碼沒有問題。如果測試未通過，則測試指示代碼包含錯誤。

在許多情況下，測試可能由于與可能代碼配置無關的未確定的原因而失敗，諸如延遲的虛擬機、網絡連接不良、超時、安全驗證失敗等。這些不確定性測試(也被稱為片狀(flaky)測試)通常需要大量的開發人員資源來調查和分類在測試期間發生的失敗。此外，測試失敗通常包括需要不同響應的多種不同的失敗模式。例如，一種失敗模式可能是網絡連接不良的結果，這僅需要重試所述測試。然而，另一種失敗模式可能是硬失敗的結果，這不應當重試。

這個問題的先前解決方案包括維護關于測試是否具有基本的非確定性狀態(即，片狀狀態)的基本數據。然而，該解決方案不提供關于不同失敗模式的任何反饋。這些失敗模式中的每種失敗模式都可能具有根本原因。然而，在開發人員手動地解析代碼并且確定測試失敗時代碼沒有問題之前，不會將測試確定為非確定性的。遺憾的是，先前的解決方案需要許多資源來僅確定測試是非確定性的，而沒有關于各種失敗模式是什么的任何額外信息，更不用說如何響應各種失敗模式。

此外，先前的解決方案對具有相同名稱的所有測試用例相同地處置。當在各種環境中運行具有相同名稱的測試用例時，這會非常低效。例如，在操作系統(OS)上運行的測試用例與在中央處理單元(CPU)架構上運行的具有相同名稱的測試用例通常具有不同的失敗模式。遺憾的是，對于具有相同名稱但是在不同環境中運行的測試用例，先前的解決方案并不將這些失敗模式視為不同的。這限制了應用在調查和響應失敗的代碼測試時增強開發人員的經驗的能力。

發明內容

在本文中公開了改善對失敗代碼驗證的測試結果進行分類的增強系統、方法和軟件。接收指示在客戶端設備中執行的失敗代碼驗證的測試結果。根據所述測試結果來生成指示在失敗代碼驗證期間發生的一種或多種失敗模式的失敗數據。然后，通過將一種或多種失敗模式中的每種失敗模式與先前識別出的失敗模式進行比較，來確定與所述一種或多種失敗模式中的每種失敗模式相關聯的后續動作。基于確定出的與所述一種或多種失敗模式中的每種失敗模式相關聯的后續動作，來向客戶端設備傳送指令。

提供本概述以介紹對在下文的詳細描述中進一步描述的簡化形式的概念的選擇。本概述并不意圖識別所要求保護的主題的關鍵特征或必要特征，也并不旨在用于限制所要求保護的主題的范圍。示例的額外方面、特征和/或優點將部分地在隨后的描述中進行闡述，并且部分地將從所述描述變得明顯，或者可以通過對本公開的實踐而獲悉。

附圖說明

參考以下附圖能夠更好地理解本公開的許多方面。盡管結合這些附圖描述了若干實現方式，但是本公開并不限于在本文中所公開的實現方式。相反，其意圖是涵蓋所有替代、修改和等效物。