[發明專利]基于視覺感知的動態目標識別和情景記憶認知方法及系統

有效

• 申請號: 202211003635.8
• 申請日: 2022-08-22
• 公開（公告）號: CN115082717B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 沈偉;吳懷谷;張楠欣
• 申請（專利權）人: 成都不煩智能科技有限責任公司
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/44;G06V10/74
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了基于視覺感知的動態目標識別和情景記憶認知方法及系統，方法利用機器人對當前用戶界面進行視覺感知；對視覺感知結果進行場景空間特征處理，構建當前用戶界面的空間特征；根據空間特征鎖定用戶界面中的可視目標元素并對其進行目標輪廓特征處理，提取出輪廓特征；對界面元素進行特征匹配識別，利用界面元素對應的概念來構建情景記憶，在情景記憶上對每一個概念元素對象在某個時間窗口內的表現完成它曾經和當前的狀態、變化的趨勢和輪廓等信息的感知，以實現對用戶界面表象所蘊含的內在知識進行認知，來提升機器人通過用戶界面實施業務操作的精準度和質量。

技術領域

本發明涉及機器人流程自動化技術領域，尤其涉及一種基于視覺感知的動態目標識別和情景記憶認知方法及系統。

背景技術

機器人流程自動化（Robotic process automation，簡稱RPA）是以軟件機器人及人工智能（AI）為基礎的業務過程自動化科技。在傳統的工作流自動化技術工具中，會由程序員產生自動化任務的動作列表，并且會用內部的應用程序接口或是專用的腳本語言作為和后臺系統之間的界面。機器人流程自動化會監視使用者在應用軟件中圖形用戶界面（GUI）所進行的工作，并且直接在GUI上自動重復這些工作。因此可以減少產品自動化的阻礙，因此有些軟件可能沒有這類用途的API。

機器人流程自動化工具在技術上類似圖形用戶界面測試工具。這些工具也會自動的和圖形用戶界面上互動，而且會由使用者示范其流程，再用示范性編程來實現。機器人流程自動化工具的不同點是這類系統會允許資料在不同應用程序之間交換。例如接收電子郵件可能包括接收付款單、取得其中資料，輸入到簿記系統中。 如果一個利用視覺作業的機器人不能準確識別應用場景中的可視元素，那么這個機器人就不可能執行準確的業務操作，所以，能夠準確識別應用場景中的，特別是變化的可視元素，對視覺機器人的操作作業來說是至關重要的。利用計算機視覺實現對動態目標實施識別和追蹤，是構建視覺認知的基本保障，也是利用計算機視覺實現對感知目標進行及時有效操作的保障，它也是計算機視覺走向作業場景認知智能化的基礎。

現有的目標識別技術存在以下缺點：現有技術在對界面元素進行識別時，對動態的、非固定的可視界面元素識別效果差，不具備情景記憶功能業務操作精準度不高，完成質量較差。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于視覺感知的動態目標識別和情景記憶認知方法及系統，通過計算機視覺從應用界面（場景）上識別出動態的、非固定的可視界面元素，通過已知概念化的元素特征，對界面元素進行特征匹配識別，利用界面元素對應的概念來構建情景記憶，在情景記憶上對每一個概念元素對象在某個時間窗口內的表現完成它曾經和當前的狀態、變化的趨勢和輪廓等信息的感知，以實現對用戶界面表象所蘊含的內在知識進行認知，來提升機器人通過用戶界面（場景）實施業務操作的精準度和質量。

本發明的目的是通過以下技術方案來實現的：

基于視覺感知的動態目標識別和情景記憶認知方法，包括以下步驟：

步驟一：利用機器人對當前用戶界面進行視覺感知；

步驟二：對視覺感知結果進行場景空間特征處理，構建當前用戶界面的空間特征；

步驟三：根據當前用戶界面的空間特征，利用滑動窗口鎖定用戶界面中的可視目標元素；

步驟四：對鎖定的可視目標元素進行目標輪廓特征處理，提取出可視目標元素的輪廓特征；

步驟五：從視覺情景記憶中搜索與可視目標元素的輪廓特征相似的目標，若搜索到相似目標且相似目標發生狀態變化時，則將可視目標元素的新狀態與相似目標進行記憶關聯；若未搜索到相似目標，則從知識庫中獲取可視目標元素的概念標簽，將概念標簽的目標及其狀態存入視覺情景記憶中；