[發明專利]重新訓練機器人視覺模型以用于機器人過程自動化

在審

• 申請號: 202010691245.9
• 申請日: 2020-07-17
• 公開（公告）號: CN112241581A
• 公開（公告）日: 2021-01-19
• 發明（設計）人: C·沃伊庫
• 申請（專利權）人: 尤帕斯公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06K9/62;G06F30/27;G06N3/08;G06F9/451
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 黃倩

本公開的實施例涉及重新訓練機器人視覺模型以用于機器人過程自動化?？梢灾匦掠柧氂蓹C器學習(ML)系統所生成的計算機視覺(CV)模型，以便在機器人過程自動化(RPA)中進行更準確的計算機圖像分析。設計器應用可以從用戶接收在圖像中的經錯誤標識圖形部件或未被標識圖形部件的選擇，確定包括該選擇的圖像的區域的代表數據，并且將代表數據和圖像傳輸到圖像數據庫。審查者可以執行CV模型，或使得CV模型被執行以確認誤差存在，并且如果存在誤差，則將圖像和正確標簽發送到ML系統，以進行重新訓練。在CV模型被重新訓練時，備選圖像識別模型可以被使用，以標識經錯誤標識圖形部件或未被標識圖形部件。

技術領域

本發明總體涉及機器人過程自動化(RPA)，并且更具體地涉及標識經錯誤標識圖形部件或未被標識圖形部件，以及重新訓練由機器學習(ML)系統所生成的用于RPA的計算機視覺(CV)模型，以進行更準確的計算機圖像分析。

背景技術

當前，通過生成合成數據并且收集各種軟件應用(無論是來自實時應用還是互聯網)的實際用戶接口的屏幕截圖(即，數字圖像)，獲得了訓練數據，該訓練數據使得用于識別圖像特征的、由ML生成的用于RPA的CV模型算法自動化。合成數據是以訓練ML模型的特定目的而產生的數據。這與“真實”數據或“有機”數據不同，“真實”數據或“有機”數據是已存在的數據，并且僅需要被收集和標記。在這種情況下，有機數據包括通過各種機制收集、并且標記的屏幕截圖。

另一訓練數據源是用戶想要自動化的應用的屏幕截圖。在這種方法中，如果由CV模型未檢測到接口的圖形元素(例如，復選框、單選按鈕、文本框等)，則用戶(例如，客戶)可以選擇未被標識的元素，創建選擇的屏幕截圖，然后將具有選擇的坐標的圖像發送給服務提供商。然而，這種方法需要用戶花費大量精力，來發送作為反饋的圖像并且報告誤差。實際上，大多數用戶都不這樣做。

此外，通過現有技術捕獲的數據在實現后可能會變得不理想或不相關。例如，客戶在運行時所使用的應用的實際用戶接口可能不同于在設計時間期間用于訓練數據的用戶接口。這使CV模型不了解實際用戶接口，并且潛在地不適合實際用戶接口，因此CV模型可能需要重新訓練才能有效操作。因而，一種重新訓練CV模型的經改善的方法可以是有益的。

發明內容

本發明的某些實施例可以提供針對本領域的問題和需求的解決方案，這些問題和需求尚未由現有CV模型技術完全標識、理解或解決。例如，本發明的一些實施例涉及標識經錯誤標識圖形部件或未被標識圖形部件，以及重新訓練由ML系統生成的用于RPA的CV模型，以進行更準確的計算機圖像分析。

在實施例中，提供了一種計算機程序被包含在非暫時性計算機可讀介質上。該程序被配置為使得至少一個處理器從CV模型的執行，接收在圖像內的圖形部件的標識，并且在視覺顯示器上顯示圖像，該圖像具有由CV模型標識的經標識圖形部件。計算機程序還被配置為使得至少一個處理器接收在圖像中的經錯誤標識圖形部件或未被標識圖形部件的選擇，確定包括選擇的圖像的區域的代表數據，并且將代表數據和圖像傳輸到圖像數據庫。

在另一實施例中，提供了一種計算系統，包括：存儲器，存儲機器可讀計算機程序指令；以及至少一個處理器，被配置為執行計算機程序指令。指令被配置為使得至少一個處理器接收在圖像中的經錯誤標識圖形部件或未被標識圖形部件的選擇，確定包括選擇的圖像的區域的代表數據，并且將代表數據和圖像傳輸給圖像數據庫，以重新訓練CV模型。指令還被配置為，使得至少一個處理器從經重新訓練的CV模型的執行，接收在圖像內的圖形部件的標識，并且在視覺顯示器上顯示圖像，該圖像具有由經重新訓練的CV模型標識的經標識圖形部件。

在又一實施例中，提供了一種計算機實現方法，包括：通過計算系統，接收在圖像中經錯誤標識圖形部件或未被標識圖形部件的選擇，并且通過計算系統，確定包括選擇的圖像的區域的代表數據。計算機實現方法還包括：通過計算系統，將代表數據和圖像傳輸給圖像數據庫，并且通過計算系統，將圖像和備選圖像處理邏輯嵌入工作流中，以在CV模型被重新訓練時，標識經錯誤標識圖形部件或未被標識圖形部件。