[發明專利]基于多錨點的用戶界面的提取、識別與機器學習

有效

• 申請號: 202010693723.X
• 申請日: 2020-07-17
• 公開（公告）號: CN112241302B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: C·沃伊庫
• 申請（專利權）人: 尤帕斯公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;G06K9/62;G06F8/34
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 黃倩

1.一種計算設備，包括：

顯示設備，被配置為顯示用戶界面UI；

處理器，被配置為操作機器人以使虛擬或遠程機器環境中的活動自動化，其中所述機器人利用所述UI的捕獲圖像中的兩個或更多個錨點；

收發器，被配置為將具有所述兩個或更多個錨點的所述捕獲圖像發送到計算機視覺CV引擎，并將所述捕獲圖像發送到光學字符識別OCR引擎；

所述收發器被配置為接收來自所述OCR引擎的結果以及由所述CV引擎基于標簽和文本域元素相對于所述捕獲圖像的區域中的所述兩個或更多個錨點和目標元素的幾何匹配而確定的關系，其中所述幾何匹配與置信區間(CI)相關聯；并且

其中所述機器人基于所述關系在所述UI中的所述目標元素上執行所述活動。

2.根據權利要求1所述的計算設備，其中所述關系定義錨定按鈕與所述標簽或所述文本域之間的幾何位置。

3.根據權利要求1所述的計算設備，其中所述捕獲圖像來自所述虛擬或遠程機器環境的視頻流。

4.根據權利要求1所述的計算設備，其中所述幾何匹配包括所述UI的所述捕獲圖像中的一個或多個元素之間的角度或三角形布置。

5.根據權利要求1所述的計算設備，其中所述幾何匹配基于ML模型。

6.根據權利要求1所述的計算設備，其中重新訓練基于在所述UI的所述捕獲圖像中檢測到的缺失元素而被執行。

7.根據權利要求1所述的計算設備，其中所述幾何匹配基于所述UI的所述捕獲圖像中的元素的彈性或非彈性幾何關系。

8.根據權利要求1所述的計算設備，其中所述兩個或更多個錨點中的第一錨點被定位在第一按鈕上，并且所述兩個或更多個錨點中的第二錨點被定位在第二按鈕上。

9.一種由計算設備執行的方法，所述方法包括：

通過所述計算設備顯示用戶界面UI；

通過所述計算設備操作機器人以使虛擬或遠程機器環境中的活動自動化，其中所述機器人利用所述UI的捕獲圖像中的兩個或更多個錨點；

通過所述計算設備將具有所述兩個或更多個錨點的所述捕獲圖像發送到計算機視覺CV引擎，并且通過所述計算設備將所述捕獲圖像發送到光學字符識別OCR引擎；

通過所述計算設備接收來自所述OCR引擎的結果和由所述CV引擎基于標簽和文本域元素相對于所述捕獲圖像的區域中的所述兩個或更多個錨點和目標元素的幾何匹配而確定的關系，其中所述幾何匹配與置信區間(CI)相關聯；并且

其中所述機器人基于所述關系在所述UI中的所述目標元素上執行所述活動。

10.根據權利要求9所述的方法，其中所述關系定義錨定按鈕與所述標簽或所述文本域之間的幾何位置。

11.根據權利要求9所述的方法，其中所述捕獲圖像來自所述虛擬或遠程機器環境的視頻流。

12.根據權利要求9所述的方法，其中所述幾何匹配包括所述UI的所述捕獲圖像中的一個或多個元素之間的角度或三角形布置。

13.根據權利要求9所述的方法，其中所述幾何匹配基于ML模型。

14.根據權利要求9所述的方法，其中重新訓練基于在所述UI的所述捕獲圖像中檢測到的缺失元素而被執行。

15.根據權利要求9所述的方法，其中所述幾何匹配基于所述UI的所述捕獲圖像中的元素的彈性或非彈性幾何關系。

16.根據權利要求9所述的方法，其中所述兩個或更多個錨點中的第一錨點被定位在第一按鈕上，并且所述兩個或更多個錨點中的第二錨點被定位在第二按鈕上。