[發(fā)明專利]一種航空圖像目標(biāo)精細(xì)識別系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210462992.4
• 申請日: 2022-04-28
• 公開（公告）號: CN114863299A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 張銳;謝聰
• 申請（專利權(quán)）人: 哈爾濱理工大學(xué)
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06V10/12;G06V10/20;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種航空圖像目標(biāo)精細(xì)識別系統(tǒng)，其特征在于：包括深度學(xué)習(xí)主機(jī)、數(shù)據(jù)采集器、目標(biāo)檢測算法、操作機(jī)構(gòu)；所述深度學(xué)習(xí)主機(jī)由機(jī)箱和內(nèi)置硬件組成，機(jī)箱內(nèi)部安裝有CPU、主板、顯卡、CPU散熱、固態(tài)硬盤、內(nèi)存、電源；所述數(shù)據(jù)采集器采用無人機(jī)航拍器，數(shù)據(jù)采集器使用帶屏遙控器搭配HDMI轉(zhuǎn)接線連接深度學(xué)習(xí)主機(jī)；所述的目標(biāo)檢測算法內(nèi)置于深度學(xué)習(xí)主機(jī)中；所述操作機(jī)構(gòu)中的顯示屏、鼠標(biāo)和鍵盤也直接與深度學(xué)習(xí)主機(jī)相連接。

2.根據(jù)權(quán)利要求1所述的一種航空圖像目標(biāo)精細(xì)識別系統(tǒng)，其特征在于：所述無人機(jī)航拍器為大疆a(chǎn)ir2便攜可折疊智能無人機(jī)航拍器，其采集的數(shù)據(jù)圖像或視頻，通過SDR-OcuSync2.0圖傳技術(shù)無線傳輸給主機(jī)用于模型訓(xùn)練或檢測。

3.根據(jù)權(quán)利要求1所述的一種航空圖像目標(biāo)精細(xì)識別系統(tǒng)，其特征在于：所述深度學(xué)習(xí)主機(jī)CPU、內(nèi)存、固態(tài)硬盤與主板連接，主板后置面板安裝到機(jī)箱，散熱器和CPU連接，并將風(fēng)扇安裝到CPU，GPU和內(nèi)存、電源模塊安裝到主板和機(jī)箱。

4.根據(jù)權(quán)利要求1所述的一種航空圖像目標(biāo)精細(xì)識別系統(tǒng)，其特征在于：所述目標(biāo)檢測算法使用新的目標(biāo)表示方法(點(diǎn)集)解決分類和回歸不一致，根據(jù)目標(biāo)的寬高比自適應(yīng)調(diào)節(jié)正負(fù)樣本閾值應(yīng)對不同形狀目標(biāo)，結(jié)合transformer和PANet組成的主干網(wǎng)絡(luò)擴(kuò)大感受野提升小目標(biāo)的識別精度。

5.一種航空圖像目標(biāo)精細(xì)識別系統(tǒng)的識別方法，其特征在于：它的識別方法包括如下步驟：

步驟一：數(shù)據(jù)的采集和預(yù)處理：數(shù)據(jù)采集使用無人機(jī)航拍ROI區(qū)域圖像或者視頻并傳輸?shù)街鳈C(jī)；數(shù)據(jù)預(yù)處理首先將視頻拆分為圖片，然后使用標(biāo)注軟件labelme手動(dòng)標(biāo)注圖片中的目標(biāo)，標(biāo)注目標(biāo)的參數(shù)包括四個(gè)點(diǎn)坐標(biāo)(以目標(biāo)的頭部方向?yàn)槠瘘c(diǎn)順時(shí)針標(biāo)注)和類別并保存標(biāo)簽為文本格式；使用算法程序中的prepare_data.py將圖片和標(biāo)簽轉(zhuǎn)換為檢測算法需要的圖像大小(1024*1024)和標(biāo)簽格式(x，y，w，h，θ，classname_id)用于模型訓(xùn)練；其中x，y，w，h，classname_id分別表示目標(biāo)的中心x，y坐標(biāo)，寬高以及類別名的索引編號；

步驟二：使用算法項(xiàng)目中的train.py在終端環(huán)境訓(xùn)練模型：本算法采用開源的oriented reppoints為基線，通過加入動(dòng)態(tài)IoU閾值IoU_out＝exp(-aw/r)*IoU_threshold+α來提高目標(biāo)的檢測精度，其中aw表示目標(biāo)長寬比，r表示歸一化系數(shù)，IoU_threshold表示正樣本閾值，α是補(bǔ)償嘗試，確保大長寬比時(shí)期望的IoU值不為0；模型訓(xùn)練配置如下：學(xué)習(xí)率設(shè)為0.005，訓(xùn)練次數(shù)60，數(shù)據(jù)增強(qiáng)采用隨機(jī)旋轉(zhuǎn)方式；最后，在終端激活創(chuàng)建的虛擬環(huán)境，環(huán)境創(chuàng)建要求如算法中的readme.md所述，輸入python train.py用于訓(xùn)練算法模型；

步驟三：使用訓(xùn)練出的模型檢測待檢測區(qū)域圖像或視頻：檢測方法分為實(shí)時(shí)檢測和離線檢測；實(shí)時(shí)檢測使用無人機(jī)航拍圖像或視頻數(shù)據(jù)通過OcuSync無線圖像傳輸技術(shù)傳送到檢測系統(tǒng)實(shí)現(xiàn)實(shí)時(shí)檢測，并在顯示屏上實(shí)時(shí)顯示檢測結(jié)果；離線檢測則是通過上傳待檢測的圖像或視頻到檢測系統(tǒng)測試文件實(shí)現(xiàn)離線檢測；

(3.1)、算法環(huán)境搭建：

Requirements:Linux，python3.7+，Pytorch1.3 or higher，CUDA9.0 or higher，mmdet＝＝1.1.0，mmcv＝＝0.3.1，GCC4.9 or higher，NCCL2.1.15 or higher；

step1:conda create-n oriented python＝3.7-y

step2:source activate oriented

step3:conda install pytorch＝1.4 torchvision cudatoolkit-10.0-c pytorch

step4:pip install-r requirements.txt

step5:python setup.py develop

step6:sudo apt-get install swig

swig-c++-python polyiou.i

python setup.py build.ext–inplace；

(3.2)、算法實(shí)現(xiàn)原理：

輸入一張1024x1024的圖片，在經(jīng)過transformer的backbone提取特征之后，經(jīng)過五次下采樣，特征圖變?yōu)?2x32大小，然后將該特征圖映射到原圖上，有32x32的網(wǎng)格grid，每個(gè)網(wǎng)格32x32像素，默認(rèn)目標(biāo)的中心點(diǎn)落在的所在grid負(fù)責(zé)預(yù)測該目標(biāo)，該grid下采樣到特征圖上就成為一點(diǎn)，此時(shí)需要預(yù)測出9個(gè)點(diǎn)，即在每個(gè)特征圖對應(yīng)的location位置，網(wǎng)絡(luò)需要學(xué)習(xí)9組偏移量，

在32x32長寬的特征圖，共有1024個(gè)點(diǎn)，對于每個(gè)點(diǎn)需要預(yù)測9個(gè)點(diǎn)，來調(diào)整樣本點(diǎn)的位置：

R_r＝{(x_k+Δx_k,y_k+Δy_k)}ⁿ_k＝1 (1)

(Δx_k,Δy_k)分別為預(yù)測點(diǎn)相對于中心點(diǎn)的偏差，n一般取9，偏差的學(xué)習(xí)由可變形卷積DCN實(shí)現(xiàn)；

總體上，該算法是基于全卷積網(wǎng)絡(luò)實(shí)現(xiàn)的，輸入圖像經(jīng)過PANet主干網(wǎng)絡(luò)之后，經(jīng)過一次3x3的可變形卷積，預(yù)測的offset經(jīng)過坐標(biāo)計(jì)算，得到一階段點(diǎn)集，可變形卷積繼續(xù)提取特征，再預(yù)測得到offset和每個(gè)位置的分類結(jié)果，由offset計(jì)算得到細(xì)化后第二次的點(diǎn)集；最終，將每個(gè)位置的點(diǎn)集轉(zhuǎn)換成預(yù)測框，加上分類結(jié)果，得到目標(biāo)檢測的結(jié)果；

(3.3)、算法性能評估指標(biāo)：

評估算法的性能將基于數(shù)據(jù)集的預(yù)測和地面真實(shí)性之間的定量比較；對于給定的目標(biāo)真值框和生成的預(yù)測框，根據(jù)IoU閾值0.5選擇TP、FP、FN，根據(jù)如下公式計(jì)算精確率和召回率，然后計(jì)算每個(gè)類別的AP值，所有類別的AP平均值極為模型的精度性能mAP。