[發(fā)明專利]結(jié)合顯著性檢測(cè)和深度學(xué)習(xí)的船只檢測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811050412.0
• 申請(qǐng)日: 2018-09-10
• 公開(kāi)（公告）號(hào): CN109241913B
• 公開(kāi)（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 邵振峰;王嶺鋼
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06N3/04
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 嚴(yán)彥

本發(fā)明提供一種結(jié)合顯著性檢測(cè)和深度學(xué)習(xí)的船只檢測(cè)方法及系統(tǒng)，包括構(gòu)建船只圖像樣本庫(kù)，包括采集可見(jiàn)光下的沿海區(qū)域監(jiān)控視頻數(shù)據(jù)，從中獲得包含船只的幀圖像，然后獲得船只位置和長(zhǎng)寬的真值；構(gòu)建類YOLO卷積神經(jīng)網(wǎng)絡(luò)，對(duì)視頻船只目標(biāo)樣本進(jìn)行模型訓(xùn)練，得到監(jiān)控視頻下船只目標(biāo)的訓(xùn)練結(jié)果模型；輸入船只影像數(shù)據(jù)，利用練結(jié)果模型預(yù)測(cè)檢測(cè)邊界框；利用邊界框信息來(lái)進(jìn)行顯著性檢測(cè)，得到更準(zhǔn)確的船只位置。本發(fā)明技術(shù)方案十分快速高效，能達(dá)到實(shí)時(shí)檢測(cè)的效果。對(duì)于復(fù)雜場(chǎng)景如云霧、陰天、下雨等情況也能有不錯(cuò)的檢測(cè)結(jié)果，方法魯棒性高。

技術(shù)領(lǐng)域

本發(fā)明屬于基于計(jì)算機(jī)視覺(jué)的船只檢測(cè)技術(shù)領(lǐng)域，特別涉及結(jié)合顯著性檢測(cè)和深度學(xué)習(xí)的船只檢測(cè)方法及系統(tǒng)。

背景技術(shù)

因?yàn)閺?fù)雜的背景以及船只種類大小的多樣性，近海船只的實(shí)時(shí)檢測(cè)一直是軍事民用領(lǐng)域的難題，實(shí)時(shí)性導(dǎo)致無(wú)法使用遙感和雷達(dá)影像，只能用視覺(jué)影像能夠?qū)崟r(shí)檢測(cè)。然而現(xiàn)階段的方法都無(wú)法同時(shí)保證實(shí)時(shí)和準(zhǔn)確性。

為了研究如何從環(huán)島監(jiān)控視頻系統(tǒng)中快速準(zhǔn)確地檢測(cè)出運(yùn)動(dòng)船只。縱觀國(guó)內(nèi)外的船只檢測(cè)算法現(xiàn)狀，逐漸從基于手工提取船只特征建模傳統(tǒng)方法轉(zhuǎn)向Faster RCNN，YOLO，YOLOv2等基于深度學(xué)習(xí)的檢測(cè)方法。

由于大多數(shù)視覺(jué)影像都來(lái)自于固定的港口監(jiān)控視頻，視頻中幀與幀的圖像存在關(guān)聯(lián)，傳統(tǒng)方法中一般是利用視頻幀間的時(shí)空信息進(jìn)行檢測(cè)。對(duì)提取出的多幀圖像進(jìn)行查分計(jì)算，然后可以得到船只區(qū)域的灰度平均值，方差等信息，通過(guò)上下文信息來(lái)建模，然后分析推定船只的區(qū)域級(jí)運(yùn)動(dòng)和相應(yīng)的局部背景，以檢測(cè)船只。但這一方法能檢測(cè)出各類型的船只但卻無(wú)法辨別出船只類別，并且無(wú)法檢測(cè)靜止在水中的船只。

在深度學(xué)習(xí)的方法中，速度最快的YOLOv2將物體檢測(cè)問(wèn)題作為回歸來(lái)處理，從空間分離出物體的邊界和類別。將輸入圖片進(jìn)行卷積和最大池化操作，然后分割成S×S的網(wǎng)格，如果一個(gè)物體的中心落在網(wǎng)格內(nèi)，則這個(gè)網(wǎng)格負(fù)責(zé)這個(gè)物體的區(qū)域box和類別預(yù)測(cè)。這樣學(xué)習(xí)的是整幅影像的特征。然后在最后一層卷積特征圖上進(jìn)行滑窗采樣，每個(gè)中心預(yù)測(cè)若干種不同大小和比例的建議框。由于都是卷積不需要全鏈接層，很好的保留空間信息，最終特征圖的每個(gè)特征點(diǎn)和原圖的每個(gè)網(wǎng)格cell一一對(duì)應(yīng)。而且用預(yù)測(cè)相對(duì)偏移(offset)取代直接預(yù)測(cè)坐標(biāo)簡(jiǎn)化了問(wèn)題，方便網(wǎng)絡(luò)學(xué)習(xí)。YOLOv2的檢測(cè)速度達(dá)到了實(shí)時(shí)檢測(cè)的要求，但是檢測(cè)精度不夠高。因此本領(lǐng)域亟待提出更具有實(shí)用價(jià)值的技術(shù)方案。

發(fā)明內(nèi)容

本發(fā)明的目的就在于克服現(xiàn)有技術(shù)存在的缺點(diǎn)和不足，結(jié)合環(huán)島監(jiān)控系統(tǒng)的數(shù)據(jù)特性，提供一種結(jié)合顯著性檢測(cè)的基于深度學(xué)習(xí)的船只檢測(cè)方法。

本發(fā)明提供一種結(jié)合顯著性檢測(cè)和深度學(xué)習(xí)的船只檢測(cè)方法，包括以下步驟，

步驟1，構(gòu)建船只圖像樣本庫(kù)，包括采集可見(jiàn)光下的沿海區(qū)域監(jiān)控視頻數(shù)據(jù)，從中獲得包含船只的幀圖像，然后獲得船只位置和長(zhǎng)寬的真值；

步驟2，構(gòu)建類YOLO卷積神經(jīng)網(wǎng)絡(luò)，對(duì)步驟1所得船只圖像樣本庫(kù)中的視頻船只目標(biāo)樣本進(jìn)行模型訓(xùn)練，得到監(jiān)控視頻下船只目標(biāo)的訓(xùn)練結(jié)果模型；

步驟3，輸入船只影像數(shù)據(jù)，利用步驟2所得訓(xùn)練結(jié)果模型預(yù)測(cè)檢測(cè)邊界框；

步驟4，利用步驟3所得邊界框信息來(lái)進(jìn)行顯著性檢測(cè)，得到更準(zhǔn)確的船只位置。

而且，所述類YOLO卷積神經(jīng)網(wǎng)絡(luò)采用YOLOv2網(wǎng)絡(luò)。

而且，YOLOv2網(wǎng)絡(luò)由多個(gè)卷積層和最大值池化層組成，采用反向傳播算法對(duì)各層參數(shù)進(jìn)行更新。

而且，步驟3的實(shí)現(xiàn)方式如下，

A，利用步驟2所得訓(xùn)練結(jié)果模型，對(duì)輸入的船只圖像進(jìn)行檢測(cè)，船只圖像經(jīng)過(guò)卷積層和最大值池化層后得到特征圖；

B，用特征圖中的每一個(gè)網(wǎng)格預(yù)測(cè)不同大小的檢測(cè)邊界框以及每個(gè)框的置信度。