[發明專利]基于圖像的終端界面識別方法、裝置、設備和介質

在審

• 申請號: 202011373684.1
• 申請日: 2020-11-30
• 公開（公告）號: CN113407264A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 于超;曾杰;唐立;鄭哲;孫廣成
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;G06K9/20
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 郭棟梁

本申請提出一種基于圖像的終端界面識別方法、裝置、設備和介質，其中，該方法包括：利用至少一個替換詞條對原始終端界面所包含的至少一個原始詞條分別進行替換，得到替換后的替換終端界面；獲取所述替換終端界面的截圖圖像；針對所述截圖圖像進行識別得到至少一條目標詞條；針對每個所述目標詞條，獲取與所述目標詞條對應的替換詞條；在所述替換詞條和所述目標詞條不匹配的情況下，確定所述目標詞條為異常顯示詞條；在所述替換終端界面上對所述異常顯示詞條進行標注，有效提高對終端界面識別的效率。

技術領域

本發明涉及應用程序識別技術領域，尤其涉及一種基于圖像的終端界面識別方法、裝置、設備和介質。

背景技術

App(Application，應用程序)向海外發行時需要支持多種語言，因此，需要對應用程序App的語言性能進行檢測。但是，相關技術中，在對應用程序App進行語言切換后，需要測試人員人工瀏覽識別，不僅耗時耗力，嚴重影響交付時間。

發明內容

鑒于現有技術中的上述缺陷或不足，期望提供一種基于圖像的終端界面識別方法、裝置、設備和介質，有效提高對終端界面識別的效率。

一方面，本申請實施例提出了一種基于圖像的終端界面識別方法，該方法包括：

利用至少一個替換詞條對原始終端界面所包含的至少一個原始詞條分別進行替換，得到替換后的替換終端界面；

獲取所述替換終端界面的截圖圖像；

針對所述截圖圖像進行識別得到至少一條目標詞條；

針對每個所述目標詞條，獲取與所述目標詞條對應的替換詞條；

在所述替換詞條和所述目標詞條不匹配的情況下，確定所述目標詞條為異常顯示詞條；

在所述替換終端界面上對所述異常顯示詞條進行標注。

一方面，本申請實施例提出了一種基于圖像的終端界面識別裝置，該裝置包括：

替換模塊，用于利用至少一個替換詞條對原始終端界面所包含的至少一個原始詞條分別進行替換，得到替換后的替換終端界面；

第一獲取模塊，用于獲取所述替換終端界面的截圖圖像；

識別模塊，用于針對所述截圖圖像進行識別得到至少一條目標詞條；

第二獲取模塊，用于針對每個所述目標詞條，獲取與所述目標詞條對應的替換詞條；

確定模塊，用于在所述替換詞條和所述目標詞條不匹配的情況下，確定所述目標詞條為異常顯示詞條；

提醒模塊，用于在所述替換終端界面上對所述異常顯示詞條進行標注。

一方面，本申請實施例提供了一種電子設備，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，該處理器執行該程序時實現如本申請實施例描述的方法。

一方面，本申請實施例提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如本申請實施例描述的方法。

本申請實施例提供的基于圖像的終端界面識別方法、裝置、設備和介質，該方法通過對原始終端界面進行詞條替換，然后對替換后的替換終端界面進行截圖，通過對截圖識別獲取截圖中的目標詞條，并對目標詞條進行識別確定異常顯示詞條。由此，本申請能夠利用圖文識別技術將對終端界面的人工識別技術轉換為自動化的圖文識別和文字識別，有效提高應用程序App終端界面的字符顯示異常識別效率。

附圖說明

本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1示出了本申請實施例提供的基于圖像的終端界面識別方法的實施環境架構圖；