[發(fā)明專利]一種面向無人機(jī)機(jī)載平臺部署的實(shí)時目標(biāo)檢測方法及裝置

有效

• 申請?zhí)枺?/td>: 202010925793.3
• 申請日: 2020-09-04
• 公開（公告）號: CN112013820B
• 公開（公告）日: 2022-03-08
• 發(fā)明（設(shè)計）人: 胡天江;李銘慧;王法魁;鄭勛臣;朱波
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G01C11/00
• 分類號: G01C11/00;G01C11/04;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

本發(fā)明公開了一種面向無人機(jī)機(jī)載平臺部署的實(shí)時目標(biāo)檢測方法及裝置，所述方法包括：將預(yù)先搭建的LiteDenseHG?Net網(wǎng)絡(luò)模型部署至無人機(jī)的機(jī)載平臺，并通過無人機(jī)的機(jī)載攝像機(jī)實(shí)時采集對地畫面圖像；對所述機(jī)載攝像機(jī)實(shí)時采集的對地畫面圖像進(jìn)行圖像預(yù)處理后，存儲至機(jī)載平臺的數(shù)據(jù)庫；將經(jīng)過圖像預(yù)處理后的圖像輸入至所述LiteDenseHG?Net網(wǎng)絡(luò)模型進(jìn)行前向計算，得到對應(yīng)的目標(biāo)檢測結(jié)果；將所述目標(biāo)檢測結(jié)果實(shí)時發(fā)送至所述無人機(jī)的控制單元，以使所述控制單元根據(jù)所述目標(biāo)檢測結(jié)果對無人機(jī)進(jìn)行實(shí)時控制。本發(fā)明通過在無人機(jī)機(jī)載平臺上搭載LiteDenseHG?Net網(wǎng)絡(luò)模型，實(shí)現(xiàn)在計算資源受限平臺上對目標(biāo)進(jìn)行實(shí)時檢測的目的，提高檢測精度，并在完成檢測后實(shí)時對無人機(jī)進(jìn)行精準(zhǔn)的實(shí)時控制。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)視覺和神經(jīng)網(wǎng)絡(luò)優(yōu)化技術(shù)領(lǐng)域，尤其是涉及一種面向無人機(jī)機(jī)載平臺部署的實(shí)時目標(biāo)檢測方法及裝置。

背景技術(shù)

低成本小型無人機(jī)由于其具有地勤保障要求低、機(jī)動性強(qiáng)和安全風(fēng)險系數(shù)小等優(yōu)點(diǎn)，在各行各業(yè)都有了廣泛發(fā)展。而在航拍領(lǐng)域，通過無人機(jī)攜帶攝像機(jī)來執(zhí)行對地目標(biāo)檢測任務(wù)就是其中一個熱點(diǎn)和難點(diǎn)。由于無人機(jī)本身載荷有限，往往無法在無人機(jī)的機(jī)載平臺放置功能強(qiáng)大的GPU計算單元，目前常用的無人機(jī)對地目標(biāo)檢測方法一般是離線處理，即無人機(jī)只執(zhí)行拍攝任務(wù)，而目標(biāo)檢測部分則在后期在地面計算單元上進(jìn)行處理，該方法要求對所執(zhí)行任務(wù)沒有實(shí)時性要求，從通用性和高效性角度來說需要一種同時具有優(yōu)秀的精度性能和更小的模型尺寸的目標(biāo)檢測算法。

但是，在對現(xiàn)有技術(shù)的研究與實(shí)踐過程中，本發(fā)明的發(fā)明人發(fā)現(xiàn)，雖然現(xiàn)有技術(shù)已經(jīng)提出了各種基于深度學(xué)習(xí)的目標(biāo)檢測算法，并且在復(fù)雜場景下比傳統(tǒng)物體檢測算法也有著更優(yōu)秀的表現(xiàn)。但是現(xiàn)有的基于深度學(xué)習(xí)的目標(biāo)檢測算法還存在如下缺陷：例如RCNN系列的Fast-cnn算法即使在地面強(qiáng)大的GPU計算資源下也無法達(dá)到實(shí)時性要求，而在速度上占據(jù)優(yōu)越性的YOLO系列則由于其需要龐大的網(wǎng)絡(luò)規(guī)模，無法在嵌入式機(jī)載平臺設(shè)備上進(jìn)行部署。因此，亟需一種能夠面向計算資源受限的無人機(jī)平臺的實(shí)時目標(biāo)檢測方法。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例所要解決的技術(shù)問題在于，提供一種面向無人機(jī)機(jī)載平臺部署的實(shí)時目標(biāo)檢測方法及裝置，通過在無人機(jī)機(jī)載平臺上搭載LiteDenseHG-Net網(wǎng)絡(luò)模型，實(shí)現(xiàn)在計算資源受限平臺上對目標(biāo)進(jìn)行實(shí)時檢測的目的，提高檢測精度，并在完成檢測后實(shí)時對無人機(jī)進(jìn)行精準(zhǔn)的實(shí)時控制。

為解決上述問題，本發(fā)明的一個實(shí)施例提供了一種面向無人機(jī)機(jī)載平臺部署的實(shí)時目標(biāo)檢測方法，至少包括如下步驟：

將預(yù)先搭建的LiteDenseHG-Net網(wǎng)絡(luò)模型部署至無人機(jī)的機(jī)載平臺，并通過無人機(jī)的機(jī)載攝像機(jī)實(shí)時采集對地畫面圖像；

對所述機(jī)載攝像機(jī)實(shí)時采集的對地畫面圖像進(jìn)行圖像預(yù)處理后，存儲至機(jī)載平臺的數(shù)據(jù)庫；

將經(jīng)過圖像預(yù)處理后的圖像輸入至所述LiteDenseHG-Net網(wǎng)絡(luò)模型進(jìn)行前向計算，得到對應(yīng)的目標(biāo)檢測結(jié)果；

將所述目標(biāo)檢測結(jié)果實(shí)時發(fā)送至所述無人機(jī)的控制單元，以使所述控制單元根據(jù)所述目標(biāo)檢測結(jié)果對無人機(jī)進(jìn)行實(shí)時控制。

作為優(yōu)選方案，所述將預(yù)先搭建的LiteDenseHG-Net網(wǎng)絡(luò)模型部署至無人機(jī)的機(jī)載平臺，具體為：

搭建初步的LiteDenseHG-Net網(wǎng)絡(luò)模型；

通過采集無人機(jī)的歷史對地目標(biāo)圖像構(gòu)建樣本數(shù)據(jù)集；

通過所述樣本數(shù)據(jù)集對所述初步的LiteDenseHG-Net網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練優(yōu)化，得到最優(yōu)的LiteDenseHG-Net網(wǎng)絡(luò)模型后部署至無人機(jī)的機(jī)載平臺。

作為優(yōu)選方案，所述通過采集無人機(jī)的歷史對地目標(biāo)圖像構(gòu)建樣本數(shù)據(jù)集，還包括：