[發(fā)明專利]一種基于多分支網(wǎng)絡(luò)的水面環(huán)境解析方法

在審

• 申請?zhí)枺?/td>: 201810174210.0
• 申請日: 2018-03-02
• 公開（公告）號: CN108446721A
• 公開（公告）日: 2018-08-24
• 發(fā)明（設(shè)計）人: 曹治國;肖陽;張驍?shù)?/a>;祁心源;楊健;宮凱程;李德輝
• 申請（專利權(quán)）人: 廣東華中科技大學(xué)工業(yè)技術(shù)研究院;華中科技大學(xué);廣東省智能機(jī)器人研究院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 東莞卓為知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44429
• 代理人: 梁年順

1.一種基于多分支網(wǎng)絡(luò)的水面環(huán)境解析方法,其特征在于，包括：

制作訓(xùn)練樣本；

構(gòu)造多分支網(wǎng)絡(luò)模型，利用訓(xùn)練樣本對多分支網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并作保存；

采集待解析環(huán)境的圖像，將圖像調(diào)至一定尺寸，輸入多分支網(wǎng)絡(luò)模型進(jìn)行前向計算；

提取待解析環(huán)境的圖像特征；

對待解析環(huán)境的圖像特征進(jìn)行目標(biāo)檢測；

對待解析環(huán)境的圖像特征進(jìn)行環(huán)境區(qū)域解析。

2.根據(jù)權(quán)利要求1所述的一種基于多分支網(wǎng)絡(luò)的水面環(huán)境解析方法,其特征在于，所述制作訓(xùn)練樣本，包括制作目標(biāo)檢測樣本和環(huán)境區(qū)域解析樣本：

采集一定數(shù)量的檢測目標(biāo)圖像，將圖像調(diào)至一定尺寸，并對圖像的目標(biāo)類型、目標(biāo)中心位置坐標(biāo)及目標(biāo)所在矩形長寬進(jìn)行標(biāo)記；

采集一定數(shù)量的環(huán)境區(qū)域圖像，將圖像調(diào)至一定尺寸，并對圖像中不同的區(qū)域進(jìn)行標(biāo)記。

3.根據(jù)權(quán)利要求1所述的一種基于多分支網(wǎng)絡(luò)的水面環(huán)境解析方法,其特征在于，所述構(gòu)造多分支網(wǎng)絡(luò)模型，利用訓(xùn)練樣本對多分支網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并作保存，包括：

進(jìn)行多分支網(wǎng)絡(luò)權(quán)值初始化；

利用目標(biāo)檢測樣本對目標(biāo)檢測模塊和特征提取模塊進(jìn)行訓(xùn)練，獲得目標(biāo)檢測模塊損失函數(shù)：

其中，S表示圖像特征被劃分網(wǎng)格的行列數(shù)；B表示每個網(wǎng)格預(yù)測的區(qū)域個數(shù)；C表示目標(biāo)類型個數(shù)；表示指示函數(shù)；(x_i，y_i，h_i，w_i)表示真實目標(biāo)框的位置及長寬，是網(wǎng)絡(luò)預(yù)測目標(biāo)框的位置及長寬；λ_coord和λ_noobj表示用于平衡存在目標(biāo)與不存在目標(biāo)網(wǎng)格間的損失函數(shù)；表示網(wǎng)絡(luò)預(yù)測的第i個網(wǎng)格存在c類型目標(biāo)的置信度；表示網(wǎng)絡(luò)預(yù)測得到的目標(biāo)物體置信度；C_i用于表示是否存在目標(biāo)類型物體；p_i(c)用于表示是否存在c類型的目標(biāo)；

利用隨機(jī)梯度下降法分別對特征提取模塊和目標(biāo)檢測模塊進(jìn)行網(wǎng)絡(luò)權(quán)重的訓(xùn)練，待損失值不變時停止訓(xùn)練，并保存停止時特征提取模塊和目標(biāo)檢測模塊的網(wǎng)絡(luò)權(quán)值；

利用環(huán)境區(qū)域樣本對環(huán)境區(qū)域解析模塊進(jìn)行訓(xùn)練，獲得環(huán)境區(qū)域解析模塊損失函數(shù)：其中k表示環(huán)境區(qū)域類別數(shù),m表示全圖像素數(shù)量，θ表示系數(shù)矩陣，θ_j表示第j類系數(shù)向量；x⁽ⁱ⁾表示第i個像素的交叉熵?fù)p失層輸入向量；y⁽ⁱ⁾表示第i個像素的樣本標(biāo)記；

利用反向傳播和梯度下降算法對環(huán)境區(qū)域解析模塊進(jìn)行網(wǎng)絡(luò)權(quán)重的訓(xùn)練，待環(huán)境區(qū)域解析模塊參數(shù)迭代若干次后停止訓(xùn)練，并保存停止時環(huán)境區(qū)域解析模塊的網(wǎng)絡(luò)權(quán)值。

4.根據(jù)權(quán)利要求3所述的一種基于多分支網(wǎng)絡(luò)的水面環(huán)境解析方法,其特征在于，所述進(jìn)行多分支網(wǎng)絡(luò)權(quán)值初始化，包括：

利用ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)權(quán)值，對特征提取模塊網(wǎng)絡(luò)權(quán)值進(jìn)行初始化；

利用xavier方法，對目標(biāo)檢測模塊、環(huán)境區(qū)域解析模塊中的卷積層、反卷積層網(wǎng)絡(luò)權(quán)值進(jìn)行初始化。

5.根據(jù)權(quán)利要求1所述的一種基于多分支網(wǎng)絡(luò)的水面環(huán)境解析方法,其特征在于，所述對待解析環(huán)境的圖像特征進(jìn)行目標(biāo)檢測，包括：

將圖像特征劃分為若干個網(wǎng)格，并在每個網(wǎng)格上預(yù)設(shè)若干個目標(biāo)框；

計算每個目標(biāo)框類別置信度Pr(class_i|obj)＝Pr(obj)*Pr(class_i)，其中Pr(obj)表示目標(biāo)框內(nèi)包含目標(biāo)的置信度，Pr(class_i)表示目標(biāo)框?qū)儆陬愋蚦lass_i的概率；

設(shè)置閾值，利用非極大值抑制算法去除類別置信度低于閾值的目標(biāo)框；

選取保留一定數(shù)量的目標(biāo)框，且每個目標(biāo)框只保留置信度最高的目標(biāo)類型；

多次計算保留的目標(biāo)框與類別置信度最大目標(biāo)框的交并比，舍棄交并比大于閾值的目標(biāo)框。

6.根據(jù)權(quán)利要求1所述的一種基于多分支網(wǎng)絡(luò)的水面環(huán)境解析方法,其特征在于，所述對待解析環(huán)境的圖像特征進(jìn)行環(huán)境區(qū)域解析，包括：

利用反卷積結(jié)構(gòu)運算進(jìn)行水面環(huán)境解析，獲取每個像素在不同區(qū)域環(huán)境的概率；

根據(jù)像素在不同區(qū)域環(huán)境的概率，將像素歸類并作標(biāo)記，輸出解析后的環(huán)境信息。