[發明專利]一種路面水體檢測方法

有效

• 申請號: 201911024133.1
• 申請日: 2019-10-25
• 公開（公告）號: CN110866455B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 王歡;汪立
• 申請（專利權）人: 南京理工大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/28;G06V10/774;G06V10/82
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 陳鵬

1.一種路面水體檢測方法，其特征在于，包括以下步驟：

步驟1，利用可見光相機采集道路場景圖像并縮放至指定尺寸，利用標注的方法獲得包含采集所得圖像中路面水體位置信息的掩膜；

步驟2，構建結合了反射注意力單元的條件生成對抗網絡，所述結合了反射注意力單元的條件生成對抗網絡，具有如下結構：

網絡包含一個生成器網絡和一個判別器網絡；其中

生成器網絡為全卷積網絡，即需要訓練的網絡層均是卷積層，網絡的輸入是固定尺寸的待檢測或者待訓練的真實圖像，真實圖像輸入后經過反射注意力單元中的預處理函數預處理，之后輸入第一層卷積層；在生成器當中，反射注意力單元應被放置在滿足如下條件的卷積層之后，即所選卷積層輸出的特征圖高度不小于16，且通道數不小于64，同時反射注意力單元應避免同時放置在相鄰卷積層之后；其中反射注意力單元的輸入為上一個卷積層的輸出，當反射注意力單元的輸入高度大于等于45，寬度大于等于80時，反射注意力單元的參數n為16，否則，n取值為8；生成器的輸出一幅表示對輸入圖像的路面水體檢測結果的特征圖，即生成掩膜，其中像素值越大，表示該像素對應的原圖中同樣位置的像素屬于路面水體區域的概率越高；

判別器網絡為卷積神經網絡，輸入為真實圖像的掩膜和對應的真實圖像，或者生成器輸出的生成掩膜和對應的真實圖像，輸入的真實圖像經過反射注意力單元中的預處理函數預處理，之后和輸入的真實掩膜或者生成掩膜在通道維度上連接，輸至第一層卷積層處理；判別器的最后一層是一層全連接層，其中輸出結果為一個單值，表示輸入的掩膜是對應真實圖像的真實掩膜的概率；

同時，利用反射注意力單元中的預處理函數對網絡中生成器和判別器的輸入圖像進行預處理；其中，反射注意力單元是一種網絡結構，包括對輸入特征圖的預處理函數，以及對預處理之后的特征圖進行卷積操作的卷積層；

對輸入特征圖的預處理函數，具體為：

設反射注意力單元的輸入特征圖的高、寬和通道數分別為h、w和c，則預處理函數首先通過均值池化將輸入特征圖的高度降到n，寬度降到w/2，通道數不變；記此時的特征圖為X；接著將X的每一行拆分出來，并將n條拆分出來的行全部通過上采樣擴展為高為h，寬為w，通道數為c的新特征圖，接著將這n張新特征圖在通道維度上連接，得到具有通道數為n×c的新特征圖，記為X`；接著輸入特征圖I自身在通道維度上擴展為原來n倍，即相當于n張輸入特征圖I在通道維度上連接，得到具有通道數為n×c的新特征圖，記為I`；之后求得X`和I`的差，即對應位置元素相減，得到新特征圖記為D；最后D和輸入特征圖I在通道維度上連接，得到新特征圖，記為D`，D`的高為h，寬為w，通道數為(n+1)×c，D`即為該預處理函數的輸出；

對預處理之后的特征圖進行卷積操作的卷積層，其中卷積核個數和輸入反射注意力單元的特征圖的通道數目相等，卷積核尺寸都是3×3，滑動步長都是1×1；

步驟3，利用采集的道路場景圖像及標注所得掩膜，訓練結合了反射注意力單元的條件生成對抗網絡；

步驟4，將待檢測的圖像縮放至指定尺寸，輸入訓練好的結合了反射注意力單元的條件生成對抗網絡，獲得條件生成對抗網絡的生成器輸出的用以表示水體檢測結果的二值圖像。

2.根據權利要求1所述的路面水體檢測方法，其特征在于，n的取值為8或16。

3.根據權利要求1所述的路面水體檢測方法，其特征在于，所述步驟3中，訓練結合了反射注意力單元的條件生成對抗網絡的步驟為：

a)設置好網絡參數，隨機初始化待訓練參數，逐一輸入用以訓練的真實圖像及對應的真實掩膜，其中每一輪迭代，均如步驟b)—e)所述；

b)真實圖像輸入生成器，得到生成掩膜；

c)真實圖像及真實掩膜輸入判別器，得到判別器的輸出結果y_t；同時將真實圖像和生成掩膜輸入判別器，得到判別器的輸出結果y_f；

d)通過生成掩膜、真實掩膜，判別器的輸出結果y_f，依據生成器損失函數計算生成器的損失，同時通過判別器輸出結果y_t和y_f，依據判別器的損失函數計算判別器的損失；

e)依據生成器和判別器的損失及網絡結構，優化網絡參數；

f)待用以訓練的數據使用完畢，訓練結束，保存網絡參數。

4.根據權利要求1所述的路面水體檢測方法，其特征在于，在所述步驟4中，利用訓練好的結合了反射注意力單元的條件生成對抗網絡，獲得用以表示水體檢測結果的二值圖像的具體步驟為：

a)將待檢測圖像縮放至適應生成器的尺寸，輸入訓練好的結合了反射注意力單元的條件生成對抗網絡中；

b)獲得生成器生成的生成掩膜，利用閾值將其二值化，其中這個閾值為輸入的真實掩膜中用以表示路面水體區域的像素取值和用以表示非路面水體區域的像素取值的平均值，即兩個可能取值相加后除以2；二值化之后的掩膜即是對應輸入圖像的路面水體檢測結果。