[發(fā)明專利]一種基于視覺跟蹤的AGV運(yùn)動(dòng)控制方法、裝置及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210608667.4
• 申請(qǐng)日: 2022-05-31
• 公開（公告）號(hào): CN115035157A
• 公開（公告）日: 2022-09-09
• 發(fā)明（設(shè)計(jì)）人: 吳凌云;何志雄;陳志滿
• 申請(qǐng)（專利權(quán)）人: 廣東天太機(jī)器人有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/269;G06T7/73
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 劉力

1.一種基于視覺跟蹤的AGV運(yùn)動(dòng)控制方法，其特征在于，所述方法包括以下步驟：

在AGV進(jìn)行目標(biāo)跟蹤過程中采集AGV周圍的視頻流；

從所述視頻流中提取最新采集得到的連續(xù)相鄰幀圖像，基于跟蹤目標(biāo)在所述連續(xù)相鄰幀中所對(duì)應(yīng)的位置確定跟蹤目標(biāo)在下一時(shí)刻的運(yùn)動(dòng)速度；

控制AGV以跟蹤目標(biāo)在下一時(shí)刻的運(yùn)動(dòng)速度控制行駛。

2.根據(jù)權(quán)利要求1所述的一種基于視覺跟蹤的AGV運(yùn)動(dòng)控制方法，其特征在于，所述從所述視頻流中提取最新采集得到的連續(xù)相鄰幀圖像，基于跟蹤目標(biāo)在所述連續(xù)相鄰幀中所對(duì)應(yīng)的位置確定跟蹤目標(biāo)在下一時(shí)刻的運(yùn)動(dòng)速度，包括：

從所述視頻流中提取得到最新采集的3幀連續(xù)的圖像；

對(duì)每幀圖像分別進(jìn)行連通域識(shí)別，確定每幀圖像中的多個(gè)連通域；

對(duì)于每幀圖像，根據(jù)訓(xùn)練好的目標(biāo)檢測模型生成圖像的預(yù)測框，確定與所述圖像的預(yù)測框匹配的連通域，在該連通域?qū)?yīng)的圖像區(qū)域中確定n個(gè)關(guān)鍵點(diǎn)；其中，n為自然數(shù)；關(guān)鍵點(diǎn)包括角點(diǎn)、邊緣點(diǎn)；

根據(jù)前兩幀圖像的采集時(shí)間間隔及前兩幀圖像中n個(gè)關(guān)鍵點(diǎn)的位置偏差確定跟蹤目標(biāo)在當(dāng)前時(shí)刻的運(yùn)動(dòng)速度；

根據(jù)跟蹤目標(biāo)的運(yùn)動(dòng)速度預(yù)測跟蹤目標(biāo)的在第三幀圖像中對(duì)應(yīng)的關(guān)鍵點(diǎn)所在的預(yù)測位置；

根據(jù)跟蹤目標(biāo)的在第三幀圖像中對(duì)應(yīng)的關(guān)鍵點(diǎn)所在的預(yù)測位置與跟蹤目標(biāo)的在第三幀圖像中對(duì)應(yīng)的關(guān)鍵點(diǎn)所在的位置確定跟蹤目標(biāo)的速度偏差，根據(jù)所述速度偏差調(diào)整所述跟蹤目標(biāo)在當(dāng)前時(shí)刻的運(yùn)動(dòng)速度，得到跟蹤目標(biāo)在下一時(shí)刻的運(yùn)動(dòng)速度。

3.根據(jù)權(quán)利要求2所述的一種基于視覺跟蹤的AGV運(yùn)動(dòng)控制方法，其特征在于，所述確定與所述圖像的預(yù)測框匹配的連通域，在該連通域?qū)?yīng)的圖像區(qū)域中確定n個(gè)關(guān)鍵點(diǎn)，包括：

確定與所述圖像的預(yù)測框匹配的連通域的最小外接框；

確定所述最小外接框與所述預(yù)測框的大小偏差是否在設(shè)定的大小閾值范圍內(nèi)；

確定大小偏差在設(shè)定的大小閾值范圍內(nèi)的最小外接框?qū)?yīng)的連通域；

遍歷所述連通域中的每個(gè)像素點(diǎn)，確定每個(gè)像素點(diǎn)的梯度值，將梯度值最大的n/2個(gè)像素點(diǎn)作為角點(diǎn)，將相鄰角點(diǎn)之間梯度值最大的像素點(diǎn)作為邊緣點(diǎn)，得到n/2個(gè)邊緣點(diǎn)；

將n/2個(gè)角點(diǎn)和n/2個(gè)邊緣點(diǎn)形成集合，共得到n個(gè)關(guān)鍵點(diǎn)。

4.根據(jù)權(quán)利要求2所述的一種基于視覺跟蹤的AGV運(yùn)動(dòng)控制方法，其特征在于，所述根據(jù)前兩幀圖像的采集時(shí)間間隔及前兩幀圖像中n個(gè)關(guān)鍵點(diǎn)的位置偏差確定跟蹤目標(biāo)在當(dāng)前時(shí)刻的運(yùn)動(dòng)速度，包括：

分別確定前兩幀圖像中n個(gè)關(guān)鍵點(diǎn)的最小外接框；

若前兩幀圖像中n個(gè)關(guān)鍵點(diǎn)的最小外接框的重疊部分面積大于最小外接框的0.6倍，則計(jì)算前兩幀圖像對(duì)應(yīng)的2個(gè)最小外接矩形的中心的矢量差，作為運(yùn)動(dòng)目標(biāo)的位移；

將運(yùn)動(dòng)目標(biāo)的位移和前兩幀圖像的采集時(shí)間間隔之比作為跟蹤目標(biāo)在當(dāng)前時(shí)刻的運(yùn)動(dòng)速度。

5.根據(jù)權(quán)利要求2所述的一種基于視覺跟蹤的AGV運(yùn)動(dòng)控制方法，其特征在于，所述根據(jù)跟蹤目標(biāo)的在第三幀圖像中對(duì)應(yīng)的關(guān)鍵點(diǎn)所在的預(yù)測位置與跟蹤目標(biāo)的在第三幀圖像中對(duì)應(yīng)的關(guān)鍵點(diǎn)所在的位置確定跟蹤目標(biāo)的速度偏差，根據(jù)所述速度偏差調(diào)整所述跟蹤目標(biāo)在當(dāng)前時(shí)刻的運(yùn)動(dòng)速度，得到跟蹤目標(biāo)在下一時(shí)刻的運(yùn)動(dòng)速度，包括：

計(jì)算跟蹤目標(biāo)的在第三幀圖像中對(duì)應(yīng)的關(guān)鍵點(diǎn)所在的預(yù)測位置與跟蹤目標(biāo)的在第三幀圖像中對(duì)應(yīng)的關(guān)鍵點(diǎn)所在的位置的位移偏差；

將所述位移偏差與第一幀圖像和第三幀圖像的采集時(shí)間間隔之比作為速度偏差；

將所述速度偏差與所述跟蹤目標(biāo)在當(dāng)前時(shí)刻的運(yùn)動(dòng)速度進(jìn)行矢量計(jì)算，得到跟蹤目標(biāo)在下一時(shí)刻的運(yùn)動(dòng)速度。

6.一種基于視覺跟蹤的AGV運(yùn)動(dòng)控制裝置，其特征在于，所述裝置包括：

至少一個(gè)處理器；

至少一個(gè)存儲(chǔ)器，用于存儲(chǔ)至少一個(gè)程序；

當(dāng)所述至少一個(gè)程序被所述至少一個(gè)處理器執(zhí)行，使得所述至少一個(gè)處理器實(shí)現(xiàn)如權(quán)利要求1至5任一項(xiàng)所述的基于視覺跟蹤的AGV運(yùn)動(dòng)控制方法。

7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有基于視覺跟蹤的AGV運(yùn)動(dòng)控制程序，所述基于視覺跟蹤的AGV運(yùn)動(dòng)控制程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至5任一項(xiàng)所述的基于視覺跟蹤的AGV運(yùn)動(dòng)控制方法的步驟。