[發(fā)明專利]一種基于雙掩膜圖像分割的無人機(jī)狹窄通道檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011243647.9
• 申請(qǐng)日: 2020-11-10
• 公開（公告）號(hào): CN112365434B
• 公開（公告）日: 2022-10-21
• 發(fā)明（設(shè)計(jì)）人: 莊嚴(yán);楊佳輝;閆飛;張雪濤
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06V10/40;G06V10/82;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 劉秋彤;梅洪玉

1.一種基于雙掩膜圖像分割的無人機(jī)狹窄通道檢測(cè)方法，其特征在于，步驟如下：

步驟一：構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)

狹窄通道檢測(cè)模型使用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行搭建，網(wǎng)絡(luò)的主體由編碼模塊和解碼模塊兩個(gè)部分組成；

編碼模塊負(fù)責(zé)對(duì)圖像進(jìn)行特征提取，由不同深度的卷積模塊搭建而成；除了第一個(gè)卷積模塊采用普通卷積外，其他卷積模塊均采用包含深度可分離卷積層的倒置殘差模塊作為特征提取器；使用卷積方法對(duì)特征進(jìn)行下采樣，即通過步長(zhǎng)為二的卷積模塊在特征提取的同時(shí)將特征圖的尺寸降采樣為原尺寸的一半；在整個(gè)編碼部分中總共進(jìn)行了四次下采樣，所以編碼部分最終將輸出尺寸降低為輸入尺寸的十六分之一；編碼模塊的輸入為一個(gè)四通道的圖像，輸入圖像的由RGB圖像和深度圖像構(gòu)成，其中RGB圖像為一幅由紅綠藍(lán)三基色組成的三通道圖像，深度圖像為的單通道灰度圖像，將兩種圖像在通道維度進(jìn)行拼接，得到用于網(wǎng)絡(luò)輸入的四通道圖像；

解碼模塊負(fù)責(zé)恢復(fù)圖像的尺寸并輸出最終的雙掩膜結(jié)果；解碼模塊由三個(gè)模組和一個(gè)輸出模塊構(gòu)成，每個(gè)模組由一個(gè)向上采樣單元、一個(gè)通道拼接模塊和兩個(gè)卷積模塊組成；對(duì)于一個(gè)模組來說，首先由向上采樣單元對(duì)上層模塊輸出的特征圖進(jìn)行向上采樣，將尺寸擴(kuò)大為輸出尺寸的二倍，然后通過一個(gè)通道拼接模塊將編碼模塊中對(duì)稱位置的特征圖進(jìn)行復(fù)制后與向上采樣得到的特征圖進(jìn)行通道拼接，接下來讓拼接后的結(jié)果經(jīng)過兩次卷積模塊，便得到了這個(gè)模組的輸出；解碼模塊將編碼模塊的編碼結(jié)果進(jìn)行了三次向上采樣，最終將圖像恢復(fù)到輸入圖像尺寸的一半；解碼模塊的輸出模塊是由一個(gè)卷積模塊構(gòu)成，輸出通道數(shù)為二，使得網(wǎng)絡(luò)最終的輸出為一個(gè)兩通道的雙掩膜；

步驟二：創(chuàng)建用于雙掩膜圖像分割的數(shù)據(jù)集

數(shù)據(jù)集用于狹窄通道檢測(cè)模型的訓(xùn)練與驗(yàn)證，數(shù)據(jù)集中的圖像由小型無人機(jī)搭載的RGB-D相機(jī)采集得到，圖像分為RGB圖像和深度圖像，兩種圖像是成組出現(xiàn)的；

圖像標(biāo)注采用兩個(gè)封閉圖形進(jìn)行標(biāo)注，分別表示狹窄通道的掩膜和通道所在墻體的掩膜；掩膜是一個(gè)由0和1兩種像素值組成的圖像，其尺寸大小與所標(biāo)注圖像的大小相同，其中像素值1坐標(biāo)代表了原圖中感興趣的像素值位置，像素值為0的坐標(biāo)代表了原圖中不感興趣位置；將掩膜與原圖像相乘，得到圖像中感興趣的區(qū)域；通過標(biāo)注得到的掩膜作為圖像分割的真值，在網(wǎng)絡(luò)訓(xùn)練時(shí)起到監(jiān)督訓(xùn)練和測(cè)試狹窄通道檢測(cè)模型效果的作用；

步驟三：狹窄通道檢測(cè)模型的訓(xùn)練與驗(yàn)證

狹窄通道檢測(cè)模型的訓(xùn)練采用深度學(xué)習(xí)框架進(jìn)行訓(xùn)練，訓(xùn)練過程分為數(shù)據(jù)處理和迭代優(yōu)化兩個(gè)部分；

數(shù)據(jù)處理：對(duì)于輸入數(shù)據(jù)格式，首先將每組RGB圖像和深度圖像進(jìn)行通道融合得到4通道圖像，然后統(tǒng)一改變成相同的尺寸H_in*W_in*4，其中H_in和W_in分別代表了輸入圖像的寬和高；然后將圖像RGB三通道的每一個(gè)像素值進(jìn)行標(biāo)準(zhǔn)化處理，標(biāo)準(zhǔn)化處理的公式為：

其中Img_std是標(biāo)準(zhǔn)化處理之后的像素值，Img_rog是標(biāo)準(zhǔn)化處理之前的像素值、μ是像素的均值、σ是像素的標(biāo)準(zhǔn)差；

迭代優(yōu)化：是讓狹窄通道檢測(cè)模型去擬合數(shù)據(jù)的真值；訓(xùn)練的優(yōu)化器采用小批量梯度下降的方法，在每次迭代過程中，需要從所有的數(shù)據(jù)中無放回的隨機(jī)選取一些數(shù)據(jù)作為一批數(shù)據(jù)，統(tǒng)一經(jīng)過數(shù)據(jù)處理后送入狹窄通道檢測(cè)模型；采用BCELoss作為損失函數(shù)，其公式為：

其中s是每批數(shù)據(jù)的圖像數(shù)量，n是總的像素?cái)?shù)量，c是類別數(shù)，x_ij是狹窄通道檢測(cè)模型的預(yù)測(cè)值，y_ij是類別真值；

迭代優(yōu)化狹窄通道檢測(cè)模型時(shí)，需要設(shè)置一個(gè)學(xué)習(xí)率Lr用來指導(dǎo)狹窄通道檢測(cè)模型的優(yōu)化速度，Lr采用分段常數(shù)衰減的方式進(jìn)行衰減；每次使用全部的訓(xùn)練集數(shù)據(jù)進(jìn)行一輪訓(xùn)練后，都要在驗(yàn)證集上對(duì)這一輪訓(xùn)練所得到的狹窄通道檢測(cè)模型的精度進(jìn)行一次驗(yàn)證，保留精度最高的那一輪的訓(xùn)練結(jié)果作為最終的狹窄通道檢測(cè)模型；使用MIoU作為狹窄通道檢測(cè)模型精度的評(píng)價(jià)指標(biāo)，它表示了真實(shí)值和預(yù)測(cè)值兩個(gè)集合的交集和并集之比，MIoU的公式為：

其中k+1表示類別數(shù)，包含背景類，p_ii表示真實(shí)標(biāo)簽中正樣本像素?cái)?shù)，p_ij表示錯(cuò)誤預(yù)測(cè)的正樣本像素?cái)?shù)，p_ji表示錯(cuò)誤預(yù)測(cè)的負(fù)樣本像素?cái)?shù)；

使用訓(xùn)練好的狹窄通道檢測(cè)模型進(jìn)行驗(yàn)證時(shí)，需要實(shí)時(shí)地讀取攝像頭采集的圖像流，通過圖像預(yù)處理后送入訓(xùn)練好的狹窄通道檢測(cè)模型，網(wǎng)絡(luò)經(jīng)過計(jì)算之后輸出一幅兩通道的掩膜圖像；需要將輸出結(jié)果恢復(fù)到輸入圖像的尺寸，然后分別對(duì)兩個(gè)掩膜進(jìn)行開操作來去除噪聲點(diǎn)，之后通過一個(gè)設(shè)定的閾值σ_Thr對(duì)兩張掩膜進(jìn)行二值化，二值化的公式為：

其中P_B表示二值化之后的掩膜，P_O表示二值化之前的掩膜；對(duì)兩張掩膜采用以下公式進(jìn)行融合：

Mask_fuse＝Mask₁-Mask₀

其中Mask₀是雙掩膜中狹窄通道的掩膜，Mask₁是雙掩膜中狹窄通道所在墻體的掩膜，Mask_fuse是由雙掩膜計(jì)算得到的結(jié)果，這幅掩膜表示狹窄通道及其周圍墻體的語義信息，即狹窄通道最終的檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于雙掩膜圖像分割的無人機(jī)狹窄通道檢測(cè)方法，其特征在于，步驟三中，數(shù)據(jù)處理還包括對(duì)于數(shù)據(jù)的增廣，數(shù)據(jù)增廣方法包括：鏡像反轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪、平移、添加高斯噪聲、圖像亮度和對(duì)比度變化。