[發明專利]一種文本定位方法及電子設備

在審

• 申請號: 202210466576.1
• 申請日: 2022-04-29
• 公開（公告）號: CN115082932A
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 高磊;周健;燕鵬舉;張泉
• 申請（專利權）人: 上海弘璣信息技術有限公司
• 主分類號: G06V30/146
• 分類號: G06V30/146;G06V30/19
• 代理公司: 江蘇瑞途律師事務所 32346
• 代理人: 李維朝;計璐

本發明公開一種文本定位方法及電子設備，針對現有技術中在機器人流程自動化軟件無法正常捕獲信息的不足，本發明接收目標圖像和目標字符串；定位所述目標圖像內原始文本元素的位置，識別所述原始文本元素中的可識別字符串；根據所述目標字符串和所述原始文本元素中的可識別字符串，從所述原始文本元素中篩選出目標文本元素；計算所述目標文本元素字符串與所述目標字符串之間的字符串相似度，獲取相似度最高的目標文本元素；確定相似度最高目標文本元素的最小外接矩形框，實現文本定位。本發明能夠根據目標字符串自動查找該字符串在輸入圖像中的位置，提高元素抓取的性能并且減少工作人員工作量，有效提高工作人員的工作效率。

技術領域

本發明涉及計算機視覺技術領域，更具體地說，涉及一種文本定位方法及電子設備。

背景技術

機器人流程自動化(Robotic process automation，簡稱RPA)是以軟件機器人及人工智能(AI)為基礎的業務過程自動化科技。機器人流程自動化是一種新型過程流程自動化辦公室機器人軟件，它通過模仿最終用戶在電腦的手動操作方式，進行自動流程執行處理，使最終用戶手動操作流程自動化。將辦公人員從每日的重復工作中解放出來，提高生產效率。

捕獲是機器人流程自動化應用過程中常用的工具，當工作人員使用機器人流程自動化軟件進行捕獲時，一般是通過接口等獲取當前操作頁面整體的框架結構及元素分布，進而選取特點元素的傳統捕獲方式獲取屏幕中需要進行操作的位置，但是傳統捕獲存在以下的缺點：如果元素的排版發生變化，則有可能無法定位到元素，在實際應用中體現為上次捕獲可以正常獲取的元素，再次捕獲時因為元素的排版變化提示報錯；同時，傳統方法也無法處理需要根據外部輸入字符串來定位文本元素位置的場景。

發明內容

1.要解決的技術問題

針對現有技術中存在的在機器人流程自動化軟件無法正常捕獲或捕獲出錯的問題，本發明提供一種文本定位方法及電子設備，能夠根據輸入的目標字符串自動查找該目標字符串在目標圖像中的位置并實現捕獲，準確度更高且更靈活，有效提高工作人員的工作效率。

2.技術方案

本發明的目的通過以下技術方案實現。

第一方面，本發明公開一種文本定位方法，包括：

接收目標圖像和目標字符串；

定位所述目標圖像內原始文本元素的位置，識別所述原始文本元素中的可識別字符串；

根據所述目標字符串和所述原始文本元素中的可識別字符串，從所述原始文本元素中篩選出目標文本元素；

計算所述目標文本元素字符串與所述目標字符串之間的字符串相似度，獲取相似度最高的目標文本元素；

確定相似度最高目標文本元素的最小外接矩形框。

更進一步的，所述原始文本元素包括第一聚合文本元素和第一非聚合文本元素，其中，

在從所述原始文本元素中篩選出目標文本元素前，對相鄰的原始文本元素進行聚合，形成第一聚合文本元素。

在從原始文本元素中篩選出目標文本元素前，進行聚合，對于符合相鄰條件進行聚合后形成的即此處的第一聚合文本元素，對于不符合相鄰條件聚合的，即此處的第一非聚合文本元素。第一聚合文本元素形成后，對第一聚合文本元素和第一非聚合文本元素進行篩選，然后再計算相似度。

更進一步的，所述目標文本元素包括第二聚合文本元素和第二非聚合文本元素，其中，