[發(fā)明專利]一種基于深度學(xué)習(xí)的無人機自主飛行控制方法與系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710961301.4
• 申請日: 2017-10-16
• 公開（公告）號: CN107817820A
• 公開（公告）日: 2018-03-20
• 發(fā)明（設(shè)計）人: 李睿康;俞鈞昊;張鵬;馮輝;胡波
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號: G05D1/12
• 分類號: G05D1/12
• 代理公司: 上海正旦專利代理有限公司31200
• 代理人: 陸飛,王潔平

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺與自動控制領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的無人機自主飛行控制方法與系統(tǒng)。

背景技術(shù)

無人機相比于載人飛行器，具有成本低、體積小、使用方便、成產(chǎn)和維護成本低、機動性強和生存能力強等優(yōu)點。由于沒有人員駕駛，無人機不受人員的生理和生命風(fēng)險限制，適合執(zhí)行情報收集、地質(zhì)勘測、低空偵查和反恐打擊等“枯燥和危險”的任務(wù)。隨著科技的發(fā)展，無人機的生產(chǎn)成本進一步降低，開始往民用和科研等領(lǐng)域發(fā)展，如氣體管道監(jiān)控、區(qū)域覆蓋監(jiān)控、災(zāi)害緊急搜救、農(nóng)業(yè)植保、公安消防和遙感測繪等。

早期各種場景下無人機的實際應(yīng)用多數(shù)基于人為遙控或干預(yù)，自動化程度不高。隨著無人機自動化工作需求的不斷擴大，基于計算機視覺的目標跟蹤成為當(dāng)下研究的熱點，其在安防救援、人機交互和無人機自動飛行等領(lǐng)域有廣泛應(yīng)用。通過目標檢測和跟蹤算法可以得到目標在成像平面上的位置和尺度信息，然后通過濾波濾除該過程中引入的噪聲，之后根據(jù)控制算法得到無人機的控制指令，進而控制無人機的姿態(tài)。上述過程不斷循環(huán)，可以實現(xiàn)無人機跟蹤目標的目的。

目標檢測與目標朝向估計是機器視覺的重要研究內(nèi)容。傳統(tǒng)的目標檢測流程首先在輸入圖像上定位出目標位置，然后對目標區(qū)域提取特征，最后用訓(xùn)練好的分類器對提取的特征進行分類，判定該區(qū)域是不是目標。該流程主要存在兩個問題，一是時間復(fù)雜度高且窗口冗余，二是特征提取環(huán)節(jié)提取的特征是特征為人工設(shè)計，與任務(wù)相關(guān)，沒有普適性。傳統(tǒng)的關(guān)于目標朝向估計的研究主要從基于多視角的目標朝向估計、借助3D 信息的目標朝向估計和基于2D 圖像信息的目標朝向估計幾個方面展開。基于3D 信息的方法受到數(shù)據(jù)帶寬、計算資源、供電需求和光線等的限制。基于2D 信息的朝向估計算法存在估計或檢測精度不高的弊端。隨著深度學(xué)習(xí)的興起，基于神經(jīng)網(wǎng)絡(luò)的目標檢測算法與朝向估計算法的準確率和運行速率都得到了很大的提升，可廣泛應(yīng)用于實際應(yīng)用中。

傳統(tǒng)的無人機飛行路徑控制基于航點設(shè)定，依靠飛行控制器內(nèi)部程序使得無人機依次沿航點飛行，自主性較低，靈活性較差，速度也相對較慢。

發(fā)明內(nèi)容

本發(fā)明的目的在于提出一種基于深度學(xué)習(xí)的無人機自主飛行控制方法與系統(tǒng)。

本發(fā)明中提出了基于深度學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)的計算機視覺目標檢測與朝向估計算法，利用搭載云臺相機的多旋翼無人機采集圖像，利用運行神經(jīng)網(wǎng)絡(luò)的運算單元檢測目標并估計目標朝向，最后結(jié)合控制算法將控制指令反饋到無人機飛行控制器。

本發(fā)明的技術(shù)方案具體介紹如下。

本發(fā)明提供一種基于深度學(xué)習(xí)的無人機自主飛行控制系統(tǒng)，其為分布式系統(tǒng)，包括以下單元：

數(shù)據(jù)采集單元，為專用機載下位機，用于采集無人機飛行狀態(tài)參數(shù)信息、機載設(shè)備與傳感器運行狀態(tài)信息及其數(shù)據(jù)；

深度學(xué)習(xí)運算單元，為嵌入式高性能機載嵌入式運算平臺，用于執(zhí)行神經(jīng)網(wǎng)絡(luò)目標檢測與朝向估計計算，其輸出作為控制算法的輸入，結(jié)合控制算法實施飛行控制；

飛行控制單元，為機載飛行控制器，用于運行控制算法以控制無人機飛行姿態(tài)，包括前向速度、橫向速度、縱向速度、偏航角速度、橫滾和俯仰。

本發(fā)明還提供一種上述的基于深度學(xué)習(xí)的無人機自主飛行控制方法，包括以下步驟：

目標檢測步驟，通過基于深度學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)實現(xiàn)對跟飛目標的檢測，取得目標在圖像中對應(yīng)的感興趣區(qū)域ROI；

目標朝向估計步驟，利用目標檢測步驟的結(jié)果，將識別到的目標作為輸入數(shù)據(jù)，通過基于深度學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)實現(xiàn)對目標相對無人機朝向的估計；

自主飛行控制步驟，基于目標檢測與朝向估計步驟的結(jié)果，結(jié)合構(gòu)建用于跟蹤目標的控制算法，實施飛行控制。

本發(fā)明中，所述目標檢測的步驟具體如下：

預(yù)先采集待跟蹤目標各角度圖像，作為訓(xùn)練數(shù)據(jù)集，利用隨機梯度下降算法迭代求解進行深度學(xué)習(xí)，構(gòu)建目標檢測神經(jīng)網(wǎng)絡(luò)；

根據(jù)目標先驗位置信息設(shè)定坐標控制無人機飛行至目標鄰域，通過數(shù)據(jù)采集單元采集機載攝像頭圖像，作為輸入傳輸至深度學(xué)習(xí)運算單元，進行目標檢測，獲取待跟蹤目標在當(dāng)前幀中的ROI。

本發(fā)明中，所述的目標朝向估計的步驟具體如下：

預(yù)先采集待跟蹤目標各角度圖像，進行朝向標定后，作為訓(xùn)練數(shù)據(jù)集，利用隨機梯度下降算法迭代求解進行深度學(xué)習(xí)，構(gòu)建目標朝向估計神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)包括多層卷積層、全連接層和輸出層，結(jié)合激活層以提升非線性擬合，并采用池化層實現(xiàn)特征圖的降維和防止模型過擬合；