[發明專利]基于塊推薦網絡的快速高分辨率圖像分割方法

有效

• 申請號: 201911365709.0
• 申請日: 2019-12-26
• 公開（公告）號: CN111160351B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 曲延云;吳桐;雷珍珍;李翠華;謝源
• 申請（專利權）人: 廈門大學
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V10/26;G06V10/774;G06V10/77;G06V10/82;G06T7/11
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森;曾權

1.基于塊推薦網絡的快速高分辨率圖像分割方法，其特征在于包括以下步驟：

1)使用現有的語義分割框架分別構建全局分支G-branch與局部精細化分支R-branch；

2)將原始高分辨率圖像下采樣成下采樣圖像,將原始高分辨率圖像均勻地劃分成若干個圖像塊；

3)將下采樣圖像輸入全局分支中獲得全局分割特征圖，然后使用與步驟2)相同的劃分方式，將全局分割特征圖均勻地劃分成若干個特征塊；

4)將下采樣圖像輸入塊推薦網絡PPN中，獲取推薦塊，具體步驟為：

(4a)網絡接收原高分辨率圖像下采樣后的圖像作為輸入，通過塊推薦網絡結構得到推薦的塊號；

(4b)網絡的塊推薦機制采用如下判別機制：若當前特征塊的分割得分I_C低于總體平均得分I_t時，當前特征塊將被確定為推薦的塊并將其賦予指示值1，否則賦予指示值0；分割得分的度量使用全局分支G-branch中獲得的平均交并比mIoU，K代表圖像塊的指示標識，取值為1表示推薦該圖像塊，取值為0表示不推薦該圖像塊；其選擇機制的表達式如下：

5)在步驟2)的若干個圖像塊中根據步驟4)獲得的推薦塊標號，取出推薦塊，與全局分割特征圖上相應的特征塊依次進行顯著性操作，最后將顯著性操作后的結果依次輸入到步驟1)構建的局部精細化分支R-branch中，得到局部精細化特征塊；

6)將局部精細化特征塊與全局分割特征圖進行相應位置的融合，輸出融合后的分割結果，作為總體的分割結果；

7)將分割結果與真實標簽計算誤差損失，使用Adam優化器訓練網絡，更新網絡參數；

8)取任意的測試圖像，重復步驟1)～6)，得到分割預測結果。

2.如權利要求1所述基于塊推薦網絡的快速高分辨率圖像分割方法，其特征在于在步驟(6)中，所述將局部精細化特征塊與全局分割特征圖進行相應位置的融合的具體步驟為：

(6a)構建與全局分割特征圖具有相同大小的模板特征圖，使用與劃分全局分割特征圖相同的劃分方式，將模板特征圖均勻劃分為若干特征塊；

(6b)若塊推薦網絡PPN選擇了第i個塊，則精細化后的第i個特征塊將替換模板特征圖中對應的第i個特征塊，而未被推薦的特征塊則保持不變；

(6c)將重構的模板特征圖與全局分割特征圖在通道維度上串接在一起，然后將結果輸入到包含三個卷積層的聚合層中。

3.如權利要求1所述基于塊推薦網絡的快速高分辨率圖像分割方法，其特征在于在步驟(7)中，所述使用Adam優化器訓練網絡的具體步驟為：

(7a)獨立地訓練幾輪全局分支G-branch；具體地，將下采樣后的圖像輸入全局分支，獲得全局分割特征圖，然后使用全局分支損失函數更新全局分支G-branch的權重，全局分支損失函數表示如下：

其中，γ是調節簡單樣本權重降低速率的參數，y′_g表示全局分割分支輸出的預測分割結果，y_g表示其對應的真實標簽；

(7b)將下采樣后的圖像輸入到固定的全局分支G-branch中，并獲得輸出全局分割特征圖，然后分別計算整個全局分割特征圖和每個分割特征塊的平均交并比mIoU，根據塊推薦網絡PPN中使用的選擇策略，若某個分割特征塊的平均交并比mIoU小于全局分割特征圖的平均交并比mIoU，則選擇該特征塊并將相應的標簽設置為1，否則設置為0；對于塊推薦網絡PPN，采用二進制交叉熵損失進行訓練；

(7c)在將塊推薦網絡PPN訓練了一個輪后，固定塊推薦網絡PPN，并將其輸出的推薦塊標記圖指導總體網絡中的細化和融合，使用總體損失函數調整總體網絡的權重，交替訓練塊推薦網絡PPN和主體網絡，每次各迭代一個輪，直至達到最大的訓練輪次或算法收斂為止，總體損失函數表示為下式：

式中，局部精細化分支損失函數和聚合層損失函數的表示形式與步驟(7a)中全局分支損失函數相似，y′_r表示局部精細化分割分支R-branch輸出的預測分割結果，y_r表示其對應的真實標簽，y′_a表示網絡最終輸出的預測分割結果，y_a表示其對應的真實標簽，γ是調節簡單樣本權重降低速率的參數。