[發(fā)明專利]一種無人機(jī)飛行路徑的處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710053181.8
• 申請(qǐng)日: 2017-01-23
• 公開（公告）號(hào): CN106873619B
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 繆瑞航;鄒丹平;裴凌;劉佩林
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G05D1/10
• 分類號(hào): G05D1/10;G05D1/08
• 代理公司: 上海漢聲知識(shí)產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

一種無人機(jī)飛行路徑的處理方法，無人機(jī)固定安裝有雙目相機(jī)，雙目相機(jī)包括左相機(jī)和右相機(jī)，包括步驟：獲取雙目相機(jī)當(dāng)前幀圖像；檢測(cè)當(dāng)前幀圖像與已記錄路徑的關(guān)鍵幀圖像是否相似，若相似，根據(jù)當(dāng)前幀圖像和關(guān)鍵幀圖像計(jì)算雙目相機(jī)的相對(duì)位姿，并根據(jù)雙目相機(jī)的相對(duì)位姿計(jì)算無人機(jī)的相對(duì)位姿，并對(duì)無人機(jī)的相對(duì)位姿進(jìn)行修正；若不相似，判斷當(dāng)前幀圖像是否為關(guān)鍵幀圖像，若是，將當(dāng)前幀圖像存儲(chǔ)為關(guān)鍵幀圖像。由于根據(jù)關(guān)鍵幀圖像存儲(chǔ)無人機(jī)的飛行路徑，大大減少了視覺定位算法的計(jì)算量，通過記錄的路徑使得無人機(jī)或其他配置了攝像機(jī)的無人機(jī)能夠按路徑飛行，并且，在按路徑飛行的過程中，通過對(duì)無人機(jī)的位置漂移的修正，能達(dá)到精準(zhǔn)的跟蹤效果。

技術(shù)領(lǐng)域

本發(fā)明涉及無人機(jī)技術(shù)領(lǐng)域，具體涉及一種無人機(jī)飛行路徑的處理方法。

背景技術(shù)

目前，無人機(jī)在復(fù)雜環(huán)境下(如室內(nèi)、叢林里、洞穴等等)的導(dǎo)航是極其困難的，特別是無人機(jī)自主返航、精準(zhǔn)的路徑跟隨等功能的實(shí)現(xiàn)是十分困難的，在這種情況下使用現(xiàn)有的加速度計(jì)和光流計(jì)作為里程計(jì)，并且使用圖像匹配進(jìn)行實(shí)時(shí)的路徑誤差修正是一個(gè)可行的辦法。

但是，目前的視覺定位算法一般計(jì)算量偏大，如SLAM等算法，很難在機(jī)載系統(tǒng)上實(shí)時(shí)運(yùn)行，因此，選擇合適的方法來融合視覺信息對(duì)無人機(jī)飛行路徑進(jìn)行處理是必須要考慮的。

發(fā)明內(nèi)容

針對(duì)如何記錄無人機(jī)飛行路徑，及實(shí)現(xiàn)路徑跟蹤的問題，本申請(qǐng)?zhí)峁┮环N無人機(jī)飛行路徑的處理方法，無人機(jī)固定安裝有雙目相機(jī)，雙目相機(jī)包括左相機(jī)和右相機(jī)，包括步驟：

獲取雙目相機(jī)當(dāng)前幀圖像；

檢測(cè)當(dāng)前幀圖像與已記錄路徑的關(guān)鍵幀圖像是否相似，若相似，根據(jù)當(dāng)前幀圖像和關(guān)鍵幀圖像計(jì)算雙目相機(jī)的相對(duì)位姿，并根據(jù)雙目相機(jī)的相對(duì)位姿計(jì)算無人機(jī)的相對(duì)位姿，并對(duì)無人機(jī)的相對(duì)位姿進(jìn)行修正；

若不相似，判斷當(dāng)前幀圖像是否為關(guān)鍵幀圖像，若是，將當(dāng)前幀圖像存儲(chǔ)為關(guān)鍵幀圖像。

一種實(shí)施例中，根據(jù)雙目相機(jī)的相對(duì)位姿計(jì)算無人機(jī)的相對(duì)位姿，具體為：

根據(jù)優(yōu)化函數(shù)獲取無人機(jī)的相對(duì)位姿，優(yōu)化函數(shù)為：

其中，T_i(t)表示t時(shí)刻第i幅關(guān)鍵幀時(shí)無人機(jī)的相對(duì)位姿，ρ指的是歐氏距離的平方，是3D點(diǎn)和2D圖像點(diǎn)的對(duì)應(yīng)關(guān)系集合，V_i是第i幅關(guān)鍵幀里面的特征點(diǎn)集合，P_WC指的是雙目相機(jī)的相對(duì)位姿，X指的是三維坐標(biāo)點(diǎn)。

一種實(shí)施例中，對(duì)無人機(jī)的相對(duì)位姿進(jìn)行修正，包括步驟：

保存雙目相機(jī)的內(nèi)參參數(shù)、外參參數(shù)、畸變參數(shù)，并將雙目相機(jī)中的左相機(jī)的中心設(shè)置為雙目相機(jī)的中心點(diǎn)；

利用fast或Shi-Tomas角點(diǎn)提取算法提取左相機(jī)圖像中的角點(diǎn)x_l，及利用Lucas-Kanade算法提取右相機(jī)圖像中的對(duì)應(yīng)點(diǎn)x_r，并且計(jì)算出角點(diǎn)x_l和對(duì)應(yīng)點(diǎn)x_r計(jì)算點(diǎn)對(duì)；

利用RANSAC算法計(jì)算單應(yīng)性矩陣H_lr和基礎(chǔ)矩陣F_lr，并根據(jù)單應(yīng)性矩陣H_lr和基礎(chǔ)矩陣F_lr剔除異常點(diǎn)對(duì)；

對(duì)保留的點(diǎn)對(duì)計(jì)算對(duì)應(yīng)的三維坐標(biāo)點(diǎn)，并計(jì)算所有三維坐標(biāo)點(diǎn)距離雙目相機(jī)的平均距離；

根據(jù)關(guān)鍵幀圖像和無人機(jī)的相對(duì)位姿構(gòu)建參考關(guān)鍵幀，并由參考關(guān)鍵幀變換成臨時(shí)中間幀圖像，通過Lucas-Kanade算法對(duì)臨時(shí)中間幀圖像和當(dāng)前幀圖像進(jìn)行點(diǎn)對(duì)匹配，并計(jì)算臨時(shí)中間幀圖像的相機(jī)坐標(biāo)；

根據(jù)臨時(shí)中間幀圖像的相機(jī)坐標(biāo)計(jì)算出臨時(shí)中間幀圖像的世界坐標(biāo)；