[發明專利]應用程序的測試控制方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110055289.7
• 申請日: 2021-01-15
• 公開（公告）號: CN112631947B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 丁光磊;張釗;蔡天勤
• 申請（專利權）人: 抖音視界有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06N3/0464;G06N3/049;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 李翔

1.一種應用程序的測試控制方法，其特征在于，包括：

響應于針對目標應用程序的自動化測試請求，獲取當前訪問頁面及與當前訪問頁面相關聯的至少兩個連續歷史訪問頁面的語義分割圖及每一歷史訪問頁面對應的歷史操作類型及歷史操作位置圖；

將所述語義分割圖、所述歷史操作類型及所述歷史操作位置圖輸入預先訓練的行為預測模型中，獲取所述行為預測模型預測出的在所述當前訪問頁面上的目標操作類型和目標操作位置概率圖，所述目標操作位置概率圖用于表征在頁面位置上執行目標操作的概率；其中，所述行為預測模型包括級聯的3D卷積神經網絡層、LSTM長短期記憶神經網絡層以及輸出層；所述3D卷積神經網絡層用于提取至少兩個連續訪問頁面的空間信息及各訪問頁面之間的時序信息；所述LSTM層用于學習空間信息中的不同尺度的時序信息；所述空間信息用于推斷頁面中發生操作的位置；所述時序信息用于推斷頁面中采取的操作類型；所述輸出層用于輸出預測的操作類型和操作位置概率圖；

根據所述目標操作類型和所述目標操作位置概率圖，控制針對所述目標應用程序的當前訪問頁面的測試。

2.根據權利要求1所述的方法，其特征在于，所述將所述語義分割圖、所述歷史操作類型及所述歷史操作位置圖輸入預先訓練的行為預測模型中，獲取所述行為預測模型預測出的在所述當前訪問頁面上的目標操作類型和目標操作位置概率圖，包括：

利用所述行為預測模型中的3D卷積神經網絡提取當前訪問頁面及每一歷史訪問頁面的第一空間信息，其中，所述第一空間信息包括每一訪問頁面中各個語義分割區域之間的位置關系和大小關系；

利用所述行為預測模型中的3D卷積神經網絡提取當前訪問頁面和各歷史訪問頁面之間的第一時序信息，所述第一時序信息包括根據訪問頁面出現時序確定的各訪問頁面之間的第一關聯關系；

利用所述行為預測模型中的LSTM長短期記憶網絡學習所述第一空間信息中包括的各訪問頁面的第二時序信息，所述第二時序信息包括各訪問頁面之間不同尺度上的第二關聯關系；

利用各訪問頁面之間的第一關聯關系，或各訪問頁面之間不同尺度上的第二關聯關系輸出在所述當前訪問頁面上的目標操作類型；

利用當前訪問頁面及每一歷史訪問頁面中的各個圖像分割區域之間的位置關系和大小關系輸出在所述當前訪問頁面上的目標操作位置概率圖。

3.根據權利要求2所述的方法，其特征在于，所述響應于針對目標應用程序的自動化測試請求，獲取當前訪問頁面及與當前訪問頁面相關聯的至少兩個連續歷史訪問頁面的語義分割圖及每一歷史訪問頁面對應的歷史操作類型及歷史操作位置圖，包括：

響應于針對目標應用程序的自動化測試請求，獲取當前訪問頁面及與當前訪問頁面相關聯的三個連續歷史訪問頁面的語義分割圖及每一歷史訪問頁面對應的歷史操作類型及歷史操作位置圖。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述根據所述目標操作類型和所述目標操作位置概率圖，控制針對所述目標應用程序的當前訪問頁面的測試，包括：

獲取所述目標操作位置概率圖中第一概率值對應的第一頁面位置；

在所述目標應用程序的當前訪問頁面的第一頁面位置執行所述目標操作類型對應的操作；

若針對所述第一頁面位置執行所述目標操作類型對應的操作失敗，在所述目標應用程序的當前訪問頁面的第二頁面位置執行所述目標操作類型對應的操作，直至操作執行成功，其中，所述第二頁面位置為所述目標操作位置概率圖中第二概率值對應的位置，所述第一概率值大于所述第二概率值。

5.根據權利要求1所述的方法，其特征在于，所述語義分割圖的提取過程包括：

獲取圖像中的至少一種圖像元素類型，所述至少一種圖像元素類型包括：文字、圖片和按鈕中的至少一種元素類型；

按照至少一種圖像元素類型對圖像進行分割，得到所述語義分割圖。