[發(fā)明專利]一種基于部件匹配與距離約束的光學(xué)遙感圖片船舶檢測方法

有效

• 申請?zhí)枺?/td>: 201910976975.0
• 申請日: 2019-10-15
• 公開（公告）號: CN110751077B
• 公開（公告）日: 2022-07-05
• 發(fā)明（設(shè)計）人: 何楚;何博琨;童鳴;劉唐波
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06V20/13
• 分類號: G06V20/13;G06V10/774;G06K9/62
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

為了解決由于光學(xué)遙感圖像易受天氣、陸地或船舶尾跡的影響，圖像內(nèi)容復(fù)雜導(dǎo)致大量虛警框的問題，通過對數(shù)據(jù)集進行部件和整體雙重標注，引入部件位置信息，再通過部件和整體之間的距離約束，有效減少檢測虛警框。本發(fā)明公開了一種基于部件匹配與距離約束的光學(xué)遙感圖片船舶檢測方法，通過對數(shù)據(jù)集進行部件標注的添加，從而提高訓(xùn)練圖像數(shù)據(jù)中的可學(xué)習(xí)信息；將訓(xùn)練過程中輸出的目標候選框相互進行部件匹配，找到每個船舶目標對應(yīng)的部件框；接著在網(wǎng)絡(luò)計算損失函數(shù)并將梯度反傳時，將船舶目標與之部件之間的距離作為參數(shù)約束結(jié)合到檢測網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程中，使得訓(xùn)練過程中目標定位更加準確。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及一種基于部件匹配與距離約束信息的光學(xué)遙感圖片船舶檢測方法。

背景技術(shù)

光學(xué)遙感圖像具有空間分辨率高，圖像內(nèi)容豐富、幾何變形小、易直觀理解等特點。其在很多領(lǐng)域具有重要研究價值，在如資源調(diào)查、地質(zhì)結(jié)構(gòu)研究、海洋研究、軍事探測等任務(wù)中備受關(guān)注。其中遙感圖像中的目標識別更是圖像處理領(lǐng)域里的熱點和難點問題，其主要任務(wù)是判斷光學(xué)遙感圖像中物體目標的類別以及具體坐標位置。而對于拍攝的海上遙感圖像來說，船舶作為海上的主要運輸載體和運動目標，對其進行目標檢測是遙感圖像領(lǐng)域最受關(guān)注的課題之一，在民用、軍用以及科研領(lǐng)域都具有重要意義。例如，在漁業(yè)管控、環(huán)境污染監(jiān)控、海上救援等民用領(lǐng)域發(fā)揮助力；在軍事領(lǐng)域可作為分析敵情、收集情報、監(jiān)視動向的重要工具；另外在科研領(lǐng)域也可為海域資源研究提供更多目標信息。

同時隨著近年來衛(wèi)星通信技術(shù)、空間定位技術(shù)、遙感技術(shù)和地理信息系統(tǒng)等技術(shù)的不斷發(fā)展，使得人們能夠快速獲取大量地表圖像觀測信息，例如美國的WorldView-I衛(wèi)星是全球分辨率最高、響應(yīng)最敏捷的商業(yè)成像衛(wèi)星，每天可拍攝多達50萬平方千米的0.5m分辨率圖像，能夠精準定位拍攝目標并快速響應(yīng)。由此可以看出，光學(xué)遙感圖像數(shù)據(jù)正在飛速增長，無法再單純依靠傳統(tǒng)人工辦法完成海上船舶目標檢測任務(wù)。目前已經(jīng)有一些公開報道或投入使用的船舶檢測方法，主要是將檢測與識別任務(wù)分開來，針對不同場景遙感圖片首先提取疑似目標的候選區(qū)域，再通過區(qū)域圖像特征進一步分析確定真實船舶目標。

雖然這些船舶檢測方法已經(jīng)取得一定成果，但在光學(xué)遙感圖像應(yīng)用上仍舊存在一些難題。例如由于光學(xué)遙感圖像內(nèi)容豐富，往往會存在海陸共存、陸地背景復(fù)雜、自然環(huán)境中天氣(云層、海霧等)和海況(海浪等)的影響，同時由于船舶特征與港口特征區(qū)分性較差，云層存在遮擋、陰影等問題，使得復(fù)雜背景中檢測出大量虛警框。另外由于船舶運動形成的尾跡在圖像中特征表現(xiàn)與船舶目標相似，往往也容易被錯分為船舶目標，使得檢測任務(wù)虛警率升高。

本發(fā)明提供的基于部件匹配以及距離約束的改進檢測方法能夠有效的減少光學(xué)遙感圖像中船舶檢測的虛警框，同時在低閾值配置下，提高檢測準確率。通過對數(shù)據(jù)集進行部件標注的添加，從而提高訓(xùn)練圖像數(shù)據(jù)中的可學(xué)習(xí)信息；將訓(xùn)練過程中輸出的目標候選框相互進行部件匹配，找到每個船舶目標對應(yīng)的部件框；接著在網(wǎng)絡(luò)計算損失函數(shù)并將梯度反傳時，將船舶目標與之部件之間的距離作為參數(shù)約束結(jié)合到檢測網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)過程中，使得訓(xùn)練過程中目標定位更加準確。

發(fā)明內(nèi)容

本發(fā)明的目的在于在數(shù)據(jù)集中添加部件框信息，同時引入船舶主體與部件之間的距離約束參數(shù)，解決傳統(tǒng)方法中由于圖片質(zhì)量限制導(dǎo)致大量虛警框的問題。

本發(fā)明的技術(shù)方案為一種基于部件匹配與距離約束的光學(xué)遙感圖片船舶檢測方法，包括以下步驟：

步驟1，準備檢測光學(xué)遙感圖像船舶數(shù)據(jù)集，收集成像條件各異、圖片背景不同的光學(xué)遙感船舶圖像數(shù)據(jù)，在圖像中對船舶目標進行整體標注以及對應(yīng)船頭、船尾的標注，將整體框和部件框標注為兩類；

步驟2，構(gòu)建添加了基于部件匹配層的船舶檢測網(wǎng)絡(luò)模型，其中基于部件匹配層的船舶檢測網(wǎng)絡(luò)模型包含基礎(chǔ)特征提取網(wǎng)絡(luò)和部件匹配層，具體實現(xiàn)方式如下：

其中基礎(chǔ)特征提取網(wǎng)絡(luò)為YOLO-V3網(wǎng)絡(luò)結(jié)構(gòu)，在YOLO-V3網(wǎng)絡(luò)最后一個特征輸出層后添加一層部件匹配層，該層主要用于訓(xùn)練過程；