[發明專利]一種基于視覺跟蹤的AGV運動控制方法、裝置及介質

在審

• 申請號: 202210608667.4
• 申請日: 2022-05-31
• 公開（公告）號: CN115035157A
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 吳凌云;何志雄;陳志滿
• 申請（專利權）人: 廣東天太機器人有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/269;G06T7/73
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 劉力

本發明涉及AGV技術領域，具體涉及一種基于視覺跟蹤的AGV運動控制方法、裝置及介質，方法包括：在AGV進行目標跟蹤過程中采集AGV周圍的視頻流；從所述視頻流中提取最新采集得到的連續相鄰幀圖像，基于跟蹤目標在所述連續相鄰幀中所對應的位置確定跟蹤目標在下一時刻的運動速度；控制AGV以跟蹤目標在下一時刻的運動速度控制行駛；本發明通過提前預判運行速度實現實時跟隨，滿足實際應用中的實時性需求。

技術領域

本發明涉及AGV技術領域，具體涉及一種基于視覺跟蹤的AGV運動控制方法、裝置及介質。

背景技術

基于ROS(Robot Operating System，機器人操作系統)，AGV能通過采集到的圖像，簡便高效地實現對目標距離和角度的估計，并保持一定的安全距離，在辦公、巡檢、迎賓、工業物流等場景有廣泛的應用價值。

現有技術中，采用視覺定位跟蹤時，由于受外界條件影響，存在目標定位追蹤的精度不高，時延較大，跟隨性不好等問題。

因此，為滿足AGV在實際應用中的實時性需求，有必要對現有的AGV視覺跟蹤方式進行改進，以提高其實時性。

發明內容

本發明目的在于提供一種基于視覺跟蹤的AGV運動控制方法、裝置及介質，以解決現有技術中所存在的一個或多個技術問題，至少提供一種有益的選擇或創造條件。

為了實現上述目的，本發明提供以下技術方案：

第一方面，本發明實施例提供了一種基于視覺跟蹤的AGV運動控制方法，所述方法包括以下步驟：

在AGV進行目標跟蹤過程中采集AGV周圍的視頻流；

從所述視頻流中提取最新采集得到的連續相鄰幀圖像，基于跟蹤目標在所述連續相鄰幀中所對應的位置確定跟蹤目標在下一時刻的運動速度；

控制AGV以跟蹤目標在下一時刻的運動速度控制行駛。

進一步，所述從所述視頻流中提取最新采集得到的連續相鄰幀圖像，基于跟蹤目標在所述連續相鄰幀中所對應的位置確定跟蹤目標在下一時刻的運動速度，包括：

從所述視頻流中提取得到最新采集的3幀連續的圖像；

對每幀圖像分別進行連通域識別，確定每幀圖像中的多個連通域；

對于每幀圖像，根據訓練好的目標檢測模型生成圖像的預測框，確定與所述圖像的預測框匹配的連通域，在該連通域對應的圖像區域中確定n個關鍵點；其中，n為自然數；關鍵點包括角點、邊緣點；

根據前兩幀圖像的采集時間間隔及前兩幀圖像中n個關鍵點的位置偏差確定跟蹤目標在當前時刻的運動速度；

根據跟蹤目標的運動速度預測跟蹤目標的在第三幀圖像中對應的關鍵點所在的預測位置；

根據跟蹤目標的在第三幀圖像中對應的關鍵點所在的預測位置與跟蹤目標的在第三幀圖像中對應的關鍵點所在的位置確定跟蹤目標的速度偏差，根據所述速度偏差調整所述跟蹤目標在當前時刻的運動速度，得到跟蹤目標在下一時刻的運動速度。

進一步，所述確定與所述圖像的預測框匹配的連通域，在該連通域對應的圖像區域中確定n個關鍵點，包括：

確定與所述圖像的預測框匹配的連通域的最小外接框；

確定所述最小外接框與所述預測框的大小偏差是否在設定的大小閾值范圍內；

確定大小偏差在設定的大小閾值范圍內的最小外接框對應的連通域；

遍歷所述連通域中的每個像素點，確定每個像素點的梯度值，將梯度值最大的n/2個像素點作為角點，將相鄰角點之間梯度值最大的像素點作為邊緣點，得到n/2個邊緣點；