[發明專利]基于SF-RCNN的光學遙感圖像目標檢測方法

有效

• 申請號: 201810112969.6
• 申請日: 2018-02-05
• 公開（公告）號: CN108491854B
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 焦李成;劉芳;楊康;郭雨薇;李玲玲;孫其功;楊淑媛;侯彪;張丹;唐旭;屈嶸
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/34;G06N3/04
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

1.一種基于全卷積語義分割的深度卷積網絡SF-RCNN的光學遙感圖像目標檢測方法，其特征在于，該方法是在深度卷積網絡中使用全卷積語義分割子網絡，提取目標檢測特征的同時也提取了語義分割的特征，用全卷積語義分割子網絡的預測分割圖調整目標檢測子網絡的檢測結果，包括如下步驟：

(1)構造測試數據集：

(1a)用窗口大小為416×416×3像素，且步長為316×316×3像素的劃窗，對多幅待檢測光學遙感圖像進行逐一切割，得到多個大小為416×416×3像素的切割數據塊，保存每一個切割數據塊對應劃窗步數；

(1b)按照測試數據集命名規則，對每個切割數據塊進行命名；

(1c)利用歸一化公式，對命名后的每一個切割數據塊進行歸一化處理；

(2)構造訓練數據集：

(2a)從遙感衛星上實時接收的光學遙感圖像中，選取多幅標注陸地飛機和水中艦船坐標的光學遙感圖像，每幅光學遙感圖像附有一張相對應的水域分割圖，以每個飛機和艦船目標為切割中心點，切割出大小為416×416×3像素的切割數據塊和相對應的416×416×1像素分割特征圖，得到多個切割數據塊與多個對應分割特征圖；

(2b)將光學遙感圖像上飛機和艦船坐標的位置以及對應的類別，均映射到所有切割數據塊上飛機和艦船坐標的位置以及對應的類別，將映射后所有目標的位置和類別組成切割數據塊的類標；

(2c)對切割數據塊進行數據增強；

(3)構建深度卷積網絡SF-RCNN：

(3a)搭建深度卷積網絡SF-RCNN中的目標檢測子網絡，該子網絡為二十二層，其結構依次為：輸入層→第一個卷積層→第二個卷積層→第一個池化層→第三個卷積層→第四個卷積層→第二個池化層→第五個卷積層→第六個卷積層→第七個卷積層→第三個池化層→第八個卷積層→第九個卷積層→第十個卷積層→第四個池化層→第十一個卷積層→第十二個卷積層→第十三個卷積層→RPN提取候選框層→ROI池化層→第一個全連接層→第二個全連接層→分類回歸層；

目標檢測子網絡各層的參數如下：

將輸入層特征映射圖的總數設置為3個，輸入特征映射圖尺度設置為416×416個節點；

將第一至第二個共兩個卷積層的特征映射圖的總數設置為64個，卷積核的尺度設置為3×3個節點；

將第三至第四個共兩個卷積層的特征映射圖的總數設置為128個，卷積核的尺度設置為3×3個節點；

將第五至第七個共三個卷積層的特征映射圖的總數設置為256個，卷積核的尺度設置為3×3個節點；

將第八至第十三個共六個卷積層的特征映射圖的總數設置為512個，卷積核的尺度設置為3×3個節點；

將第一至第四個共四個池化層的特征映射圖的尺寸設置為2×2個節點；

將ROI池化層的特征映射圖的輸出尺寸設置為6×6個節點；

將第一個全連接層的特征映射圖的總數設置為4096；

將第二個全連接層的特征映射圖的總數設置為4096；

將RPN提取候選框層中的分類特征映射圖的尺寸設置為26×26個節點，分類特征映射圖的總數為18個，回歸特征映射圖的尺寸設置為26×26個節點，回歸特征映射圖的總數設置為36；

將分類回歸層中的分類特征映射圖的尺寸設置為2個，回歸特征映射圖的尺寸設置為4個；

(3b)搭建深度卷積網絡SF-RCNN中的全卷積語義分割子網絡，該子網絡為二十一層，其結構依次為：輸入層→第一個卷積層→第二個卷積層→第一個池化層→第三個卷積層→第四個卷積層→第二個池化層→第五個卷積層→第三個池化層→第六個卷積層→第四個池化層→第七個卷積層→第五個池化層→第八個卷積層→第九個卷積層→第十個卷積層→第一個特征映射圖，第四個池化層→第十二個卷積層→第二個特征映射圖，第三個池化層→第十一個卷積層→第三個特征映射圖，第一個特征映射圖→第一個反卷積層→與第二個特征映射圖級聯→第二個反卷積層→第七個特征圖→與第三個特征映射圖級聯→第三個反卷積層→語義分割層；

全卷積語義分割子網絡各層的參數如下：

將輸入層特征映射圖的總數設置為3個，輸入特征映射圖尺度設置為416×416個節點；

將第一至第二個共兩個卷積層的特征映射圖的總數設置為64個，卷積核的尺度設置為3×3個節點；

將第三至第四個共兩個卷積層的特征映射圖的總數設置為128個，卷積核的尺度設置為3×3個節點；

將第五個卷積層的特征映射圖的總數設置為256個，卷積核的尺度設置為3×3個節點；

將第六個卷積層的特征映射圖的總數設置為512個，卷積核的尺度設置為3×3個節點；

將第七個卷積層的特征映射圖的總數設置為512個，卷積核的尺度設置為3×3個節點；

將第八個卷積層和第九個卷積層的特征映射圖的總數設置為4096個，卷積核的尺度設置為1×1個節點；

將第十個卷積層的特征映射圖的總數設置為2個，卷積核的尺度設置為1×1個節點；

將第十一個卷積層和第十二個兩個卷積層的特征映射圖的總數設置為2個，卷積核的尺度設置為3×3個節點；

將第一至第五個共五個池化層的特征映射圖的尺寸設置為2×2個節點；

將第一個至第二個共兩個反卷積層的特征映射圖的總數設置為2個，反卷積核尺度設置為4×4個節點；

將第三個反卷積層的特征映射圖的總數設置為2個，將卷積核尺度設置為16×16個節點；

將第一個特征映射圖的總數設置為2個，輸入特征映射圖尺度設置為13×13個節點；

將第二個特征映射圖的總數設置為2個，輸入特征映射圖尺度設置為26×26個節點；

將第三個特征映射圖的總數設置為2個，輸入特征映射圖尺度設置為52×52個節點；

將語義分割層特征映射圖的總數設置為2個，輸入特征映射圖尺度設置為416×416個節點；

(3c)用深度卷積網絡的全卷積語義分割子網絡，對輸入到深度卷積網絡SF-RCNN的光學遙感圖像中的水與陸地分割出來，得到與原始數據尺寸大小416×416×3像素相同的水標注為1陸地為0的預測分割圖；

(4)用訓練數據集對深度卷積網絡SF-RCNN進行訓練，得到訓練好的深度卷積網絡SF-RCNN；

(5)對測試數據集進行檢測：

(5a)將測試數據集中的數據塊，依次輸入到訓練好的深度卷積網絡SF-RCNN中，得到測試數據集中每個數據塊的候選框、候選框對應的得分、候選框對應的目標類別、數據塊預測分割圖；

(5b)保留所有距離候選框0.5倍范圍內，含有百分之10以上水，且得分高于0.5的目標類別為艦船的候選框，保留所有距離候選框0.5倍范圍內，不含有水，且得分高于0.5的目標類別為飛機的候選框，丟棄其余候選框；

(5c)對所有保留候選框進行非極大值抑制NMS處理，得到光學遙感圖像的檢測結果。