[發(fā)明專利]基于視覺感知的動態(tài)目標(biāo)識別和情景記憶認(rèn)知方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202211003635.8
• 申請日: 2022-08-22
• 公開（公告）號: CN115082717B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計）人: 沈偉;吳懷谷;張楠欣
• 申請（專利權(quán)）人: 成都不煩智能科技有限責(zé)任公司
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/44;G06V10/74
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于視覺感知的動態(tài)目標(biāo)識別和情景記憶認(rèn)知方法，其特征在于，包括以下步驟：

步驟一：利用機器人對當(dāng)前用戶界面進行視覺感知；

步驟二：對視覺感知結(jié)果進行場景空間特征處理，構(gòu)建當(dāng)前用戶界面的空間特征；具體包括以下子步驟：

S201，背景區(qū)域處理，根據(jù)視覺感知結(jié)果，將用戶界面的背景區(qū)域中靜止不動的界面區(qū)域設(shè)定為背景，同時將背景區(qū)域中被遮擋目標(biāo)的部分也設(shè)定為背景；

S202，前景區(qū)域處理，將用戶界面的前景區(qū)域中動態(tài)變化且未被遮擋的界面區(qū)域設(shè)定為前景；

S203，目標(biāo)遮擋識別，從用戶界面的背景區(qū)域中識別出屬于被遮擋目標(biāo)的部分區(qū)域，作為被遮擋目標(biāo)的跟蹤區(qū)域；

S204，目標(biāo)遮擋關(guān)聯(lián)，結(jié)合用戶界面的前景和被遮擋目標(biāo)的跟蹤區(qū)域，檢測出前景與被遮擋目標(biāo)的關(guān)聯(lián)關(guān)系；

步驟三：根據(jù)當(dāng)前用戶界面的空間特征，利用滑動窗口鎖定用戶界面中的可視目標(biāo)元素；

步驟四：對鎖定的可視目標(biāo)元素進行目標(biāo)輪廓特征處理，提取出可視目標(biāo)元素的輪廓特征；

步驟五：從視覺情景記憶中搜索與可視目標(biāo)元素的輪廓特征相似的目標(biāo)，若搜索到相似目標(biāo)且相似目標(biāo)發(fā)生狀態(tài)變化時，則將可視目標(biāo)元素的新狀態(tài)與相似目標(biāo)進行記憶關(guān)聯(lián)；若未搜索到相似目標(biāo)，則從知識庫中獲取可視目標(biāo)元素的概念標(biāo)簽，將概念標(biāo)簽的目標(biāo)及其狀態(tài)存入視覺情景記憶中；

步驟六：以定時和目標(biāo)狀態(tài)變化觸發(fā)方式從視覺情景記憶中提取可視目標(biāo)元素的狀態(tài)變化信息，根據(jù)當(dāng)前場景狀態(tài)S_i下每個可視目標(biāo)元素的狀態(tài)變化信息調(diào)整每個可視目標(biāo)元素所對應(yīng)的滑動窗口，實現(xiàn)對用戶界面中的可視目標(biāo)識別與跟蹤。

2.根據(jù)權(quán)利要求1所述的基于視覺感知的動態(tài)目標(biāo)識別和情景記憶認(rèn)知方法，其特征在于，所述步驟四具體包括以下子步驟：

S401，前景目標(biāo)捕獲，根據(jù)場景空間特征處理提供的前景區(qū)域，從前景區(qū)域中捕獲所有已知空間特征的目標(biāo)，捕獲過程如下式所示：

；

式中，特征匹配（區(qū)域_前景，特征_{目標(biāo)i}）是實現(xiàn)掃描區(qū)域_前景，尋找與特征_{目標(biāo)i}相似度滿足要求的目標(biāo)區(qū)域；

S402，目標(biāo)切圖，根據(jù)步驟S401捕獲識別出來的目標(biāo)，按照各個目標(biāo)對應(yīng)的目標(biāo)區(qū)域，從前景區(qū)域中完成目標(biāo)區(qū)域的切圖，切圖過程為：選擇目標(biāo)_i，在視域中提取能完整包含目標(biāo)i輪廓的左上角邊界坐標(biāo)和右下角邊界坐標(biāo)；依據(jù)左上角邊界坐標(biāo)和右下角邊界坐標(biāo)進行矩形切圖，形成關(guān)于目標(biāo)_i的切圖；

S403，目標(biāo)輪廓形成，選擇目標(biāo)i的切圖，灰度化切圖，計算出切圖的亮度梯度；設(shè)定梯度閾值，按照梯度閾值提取出目標(biāo)_i的連續(xù)輪廓；按照連續(xù)輪廓從切圖中提取出目標(biāo)_i的獨立完整的灰度圖片：

S404，輪廓特征提取，利用圖像形態(tài)學(xué)方法，對灰度圖片進行先腐蝕再膨脹計算，模糊灰度圖片的輪廓細(xì)節(jié)，突出灰度圖片的邊緣：利用角度梯度計算表示法計算出灰度圖片邊緣角點，根據(jù)邊緣角點形成目標(biāo)i的輪廓特征；

S405，輪廓特征匹配識別，用所提取的目標(biāo)i的輪廓特征，從已知目標(biāo)輪廓特征庫中進行比對尋找，若找到相似目標(biāo)輪廓特征，則將目標(biāo)進行已知目標(biāo)概念的標(biāo)注；若未找到相似目標(biāo)輪廓特征，則將目標(biāo)i標(biāo)注為未知目標(biāo)。

3.根據(jù)權(quán)利要求1所述的基于視覺感知的動態(tài)目標(biāo)識別和情景記憶認(rèn)知方法，其特征在于，所述步驟六具體為：通過表象感知技術(shù)以定時和目標(biāo)狀態(tài)變化觸發(fā)方式從視覺情景記憶中提取當(dāng)前用戶界面狀態(tài)下可視目標(biāo)元素的狀態(tài)變化信息，狀態(tài)變化信息包括可視目標(biāo)元素的空間特征和輪廓特征；將提取出所有可視目標(biāo)元素的狀態(tài)變化信息整理形成可視目標(biāo)元素列表，向識別成果庫輸出當(dāng)前用戶界面狀態(tài)下包含的可視目標(biāo)元素列表；根據(jù)當(dāng)前場景狀態(tài)S_i下每個可視目標(biāo)元素的狀態(tài)變化信息調(diào)整每個可視目標(biāo)元素所對應(yīng)的滑動窗口，實現(xiàn)對用戶界面中的可視目標(biāo)快速識別和有效跟蹤。