[發明專利]基于多錨點的用戶界面的提取、識別與機器學習

有效

• 申請號: 202010693723.X
• 申請日: 2020-07-17
• 公開（公告）號: CN112241302B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: C·沃伊庫
• 申請（專利權）人: 尤帕斯公司
• 主分類號: G06F9/451
• 分類號: G06F9/451;G06K9/62;G06F8/34
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 黃倩

公開了基于多錨點的用戶界面的提取、識別與機器學習。多個錨點可用于用戶界面(UI)的機器人過程自動化(RPA)。多個錨點可用于確定用于RPA的UI的捕獲圖像中的元素之間的關系。錨定的結果可用于機器學習(ML)組件的訓練或重新訓練。

技術領域

本公開的實施例總體涉及機器人過程自動化。

背景技術

機器人過程自動化(RPA)可以自動化企業平臺、虛擬機(VM)配置、遠程桌面、云計算、桌面應用等中的重復操作、功能或工作流。對于用于自動化的用戶界面(UI)捕獲、提取、刮取或執行，錨點或參考點可以與計算機視覺(CV)或機器視覺(MV)一起使用以識別UI的圖像的目標區域中的一個或多個元素。然而，利用單個錨點或參考點的配置可能易受不期望的復制、錯誤、假陽性、缺失元素等的影響。

在工作流的RPA設計或執行中，也可能遇到基于每英寸點數(DPI)、大小調整、縮放、視頻幀速率、陰影等的錯誤。這些錯誤在虛擬或遠程計算機配置中可能更為明顯。此外，UI中的按鈕形狀或復選框可能會導致使用CV的RPA的錯誤。希望使用改進的錨定來減少針對RPA的工作流生成或運行中的錯誤。

發明內容

公開了用于將多錨定用于一個或多個工作流的機器人過程自動化(RPA)的用戶界面(UI)的方法和裝置。在機器人的開發或運行時期間，對于用于自動化的一個或多個工作流，UI上的多錨點分析可用于在提取或刮取的圖像上進行元素檢測或訓練。還可以在UI上為桌面應用、web應用以及虛擬或遠程計算機配置來配置多錨點分析，以減少錯誤并提高性能。

附圖說明

通過結合附圖以示例的方式給出的以下描述可以獲得更詳細的理解，其中，圖中相同的參考數字表示相同的元素，并且其中：

圖1A是機器人過程自動化(RPA)開發、設計、操作或執行的圖示；

圖1B是RPA開發、設計、操作或執行的另一圖示；

圖1C是計算系統或環境的圖示；

圖2是使用RPA的反饋回路進行重新訓練的圖示；

圖3是用于RPA的用戶界面(UI)的多錨定的圖示；

圖4是用于RPA的UI的多錨定的另一圖示；

圖4A是用于RPA的UI的多錨定的另一圖示；和

圖5是使用用于RPA的UI的多錨定的過程的圖示。

具體實施方式

對于下面描述的方法和過程，所述步驟可以不按序列以任何順序執行，并且可以執行未明確描述或示出的子步驟。此外，“耦接”或“可操作地耦接”可以意味著對象被鏈接，但是在鏈接的對象之間可以具有零個或多個中間對象。而且，在一個或多個實施例中可以使用所公開的特征/元素的任何組合。當使用提及“A或B”時，可包括A、B或A和B，其可類似地擴展到較長的列表。當使用記號X/Y時，它可以包括X或Y。可選地，當使用記號X/Y時，它可以包括X和Y。X/Y記號可以類似地擴展到具有相同解釋邏輯的較長列表。

圖1A是機器人過程自動化(RPA)開發、設計、操作或執行100的圖示。有時被稱為工作室、開發平臺、開發環境等的設計器102可以被配置為生成用于機器人執行或自動化一個或多個工作流的代碼、指令、命令等。從計算系統可以提供給機器人的選擇中，機器人可以確定由用戶或操作者選擇的視覺顯示的區域的代表性數據。作為RPA的一部分，多個維度中的諸如正方形、矩形、圓形、多邊形、自由形式等的形狀可用于與計算機視覺(CV)操作或機器學習(ML)模型相關的UI機器人開發和運行時。