[發(fā)明專利]一種旋翼作業(yè)飛行機器人目標跟蹤方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010084629.4
• 申請日: 2020-02-10
• 公開（公告）號: CN111310631B
• 公開（公告）日: 2021-05-07
• 發(fā)明（設(shè)計）人: 王耀南;周士琪;譚建豪;鐘杭;馮明濤;劉力銘
• 申請（專利權(quán)）人: 湖南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06T7/246
• 代理公司: 北京金智普華知識產(chǎn)權(quán)代理有限公司 11401
• 代理人: 楊采良

1.一種旋翼作業(yè)飛行機器人目標跟蹤方法，其特征在于，所述旋翼作業(yè)飛行機器人目標跟蹤方法包括：

步驟一，使用pytorch框架在ILSVRC2015、Lasot、Coco、GOT-10k數(shù)據(jù)集上對跟蹤網(wǎng)絡(luò)進行訓練；

步驟二，通過旋翼作業(yè)飛行機器人搭載的深度相機實時獲取圖像信息，首先選取旋翼作業(yè)飛行機器人待跟蹤的目標作為跟蹤算法的初始化目標，得到初始目標框的位置信息；

步驟三，Siamiou網(wǎng)絡(luò)在第一幀中對初始目標框區(qū)域通過Resnet50提取目標的特征信息，對模板網(wǎng)絡(luò)的參數(shù)進行初始化；所述Siamiou網(wǎng)絡(luò)為目標跟蹤算法網(wǎng)絡(luò)；

步驟四，在后續(xù)幀中，對目標的搜索區(qū)域提取深度特征，并與模板網(wǎng)絡(luò)進行卷積匹配，得到兩條分支，目標判別分類分支與目標尺度估計分支；將目標判別分類分支的輸出作為目標尺度估計分支的輸入，最后得到目標的最優(yōu)位置與尺度估計；

步驟五，通過跟蹤算法獲取的目標在圖像中的二維坐標，并根據(jù)相應的深度信息，解算出目標的三維坐標，將其發(fā)送給旋翼作業(yè)飛行機器人，通過PID控制調(diào)節(jié)旋翼作業(yè)飛行機器人的速度，實現(xiàn)對目標的跟蹤。

2.如權(quán)利要求1所述的旋翼作業(yè)飛行機器人目標跟蹤方法，其特征在于，步驟一中，所述跟蹤網(wǎng)絡(luò)的訓練方法如下：

(1)數(shù)據(jù)集的預處理：將每個數(shù)據(jù)集視頻序列中的圖像以目標為中心，以一定的比例裁剪成511×511的大小，如果裁剪區(qū)域超出了原圖，則用像素的平均值進行填充；對網(wǎng)絡(luò)進行訓練時，在ILSVRC2015、Lasot、Coco、GOT-10k數(shù)據(jù)集中每次以相同的概率隨機選取一個數(shù)據(jù)集，并在數(shù)據(jù)集中隨機選取一個視頻幀中相隔一定距離的圖像對，Coco數(shù)據(jù)集選取一對相同的圖片作為數(shù)據(jù)擴充，采用平移、縮放、翻轉(zhuǎn)、模糊數(shù)據(jù)增強手段對圖像對進行處理，最后將圖像對輸入到網(wǎng)絡(luò)進行訓練；

(2)構(gòu)建網(wǎng)絡(luò)的損失函數(shù)：網(wǎng)絡(luò)的輸出包含兩條分支，其中目標判別分類分支得到一個h×w的特征圖表示目標在相應位置的得分置信度，目標尺度估計分支輸出得到目標預測邊界框框與目標真實邊界框的IOU，所述h×w為17×17。

3.如權(quán)利要求2所述的旋翼作業(yè)飛行機器人目標跟蹤方法，其特征在于，所述網(wǎng)絡(luò)的輸出具體包括：

1)對于目標判別分類分支，引入一個偏移量t＝(t_x，t_y)，表示目標相對于輸出特征圖中心點的偏移量，其值等于(T_x/s，T_y/s)，其中T_x，T_y表示數(shù)據(jù)增強時目標的平移量，s表示網(wǎng)絡(luò)的總步長，總步長為8；將以目標偏移點為中心，半徑為16區(qū)域的點視為正樣本，其余的點都為負樣本，則目標判別分類分支的標簽y_score表示為：

其中，u∈R^h×w表示標簽y_score相應點的坐標；

目標判別分類分支的輸出score，表示為score＝g(c_res(S₁，S₂，S₃))；其中，S1，S2，S3表示Resnet50分別在layer2、layer3、layer4層所提取的特征，c_res表示殘差融合模塊，g表示得分預測模塊；采用logistics loss作為目標判別分類分支的損失函數(shù)，在輸出特征圖的每個坐標位置求損失并取平均值作為該分支的總損失，表達式為：

l(y_score，score)＝log(1+exp(-y_scorescore))；

2)對于目標尺度估計分支，將目標邊界框的groundtruth加入一個高斯噪聲，生成16個不同的邊界框，并保證每個邊界框與groundtruth的IOU大于0.1，將這16個邊界框映射到Resnet50在目標尺度估計分支所提取到的特征I＝(I₁，I₂，I₃)上，采用Prpool對這些區(qū)域提取特征。