[發明專利]基于特征圖恢復的場景分割方法和系統有效
| 申請號： | 201810664250.3 | 申請日： | 2018-06-25 |
| 公開（公告）號： | CN109034198B | 公開（公告）日： | 2020-12-11 |
| 發明（設計）人： | 唐勝;張蕊;李錦濤 | 申請（專利權）人： | 中國科學院計算技術研究所 |
| 主分類號： | G06K9/62 | 分類號： | G06K9/62 |
| 代理公司： | 北京律誠同業知識產權代理有限公司 11006 | 代理人： | 祁建國;梁揮 |
| 地址： | 100080 北*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 特征 恢復 場景 分割 方法 系統 | ||
1.一種基于特征圖恢復的場景分割方法，其特征在于，包括：
步驟1、對原始圖像進行降采樣，得到降采樣圖像，通過特征學習網絡得到該降采樣圖像的降采樣特征圖，將該降采樣特征圖的尺寸恢復為原始圖像尺寸，得到上采樣特征圖，將該上采樣特征圖輸入場景分割網絡，得到該原始圖像的場景分割結果；
步驟2、直接將該原始圖像輸入至特征學習網絡，得到原始特征圖，將該原始特征圖輸入場景分割網絡，得到該原始圖像的的參考分割結果；
步驟3、以該原始特征圖和該參考分割結果分別優化特征超分辨率學習模塊和該場景分割結果；
該步驟1還包括：
構建具有多個反卷積層的特征超分辨率學習模塊，以根據降采樣比率將該降采樣特征圖的尺寸恢復為原始圖像尺寸；
根據該上采樣特征圖與該原始特征圖的L2距離，構建損失函數：
式中LL2為該上采樣特征圖與該原始特征圖的L2距離，fup為該上采樣特征圖，f為該原始特征圖，該損失函數用于優化該場景分割結果；
使用兩個回歸損失函數，分別應用在特征學習網絡，以恢復中間層的特征圖并收集重建損失，其中回歸損失函數為：
其中分別是步驟1中特征學習網絡的中間層特征圖；分別是由超分辨率恢復模塊產生的特征圖；fb3，fb4分別是步驟2中特征學習網絡的中間層特征圖并作為期望恢復的特征圖目標，用于得到輔助中間層監督的回歸損失Laux1，Laux2；
L＝λ1LL2+λ2Ls+λ3(Laux1+Laux2)
其中Ls為softmax損失函數，λ1、λ2和λ3是損失函數L中的權重；
采用邊界區域重加權的方法增大邊界區域的回歸損失，以提升特征超分辨率學習模塊對降采樣特征圖中邊界區域的特征恢復能力，其中邊界區域B通過對語義邊界進行半徑為r的擴展得到，該步驟1的最終損失函數為：
其中L(p)代表損失函數L在像素p的損失，γ1γ2。
2.如權利要求1所述的基于特征圖恢復的場景分割方法，其特征在于，該特征超分辨率學習模塊開始和結尾，分別具有尺寸為1×1的卷積層用于降低通道數和恢復通道數。
3.如權利要求1所述的基于特征圖恢復的場景分割方法，其特征在于，將該特征超分辨率學習模塊插入到特征學習網絡中，并進行端對端的訓練。
4.一種基于特征圖恢復的場景分割系統，其特征在于，包括：
第一模塊，用于對原始圖像進行降采樣，得到降采樣圖像，通過特征學習網絡得到該降采樣圖像的降采樣特征圖，將該降采樣特征圖的尺寸恢復為原始圖像尺寸，得到上采樣特征圖，將該上采樣特征圖輸入場景分割網絡，得到該原始圖像的場景分割結果；
第二模塊，用于直接將該原始圖像輸入至特征學習網絡，得到原始特征圖，將該原始特征圖輸入場景分割網絡，得到該原始圖像的的參考分割結果；
該第一模塊還包括：
構建具有多個反卷積層的特征超分辨率學習模塊，以根據降采樣比率將該降采樣特征圖的尺寸恢復為原始圖像尺寸；
第三模塊，用于以該原始特征圖和該參考分割結果分別優化該特征超分辨率學習模塊和該場景分割結果；
其中該特征超分辨率學習模塊開始和結尾，分別具有尺寸為1×1的卷積層用于降低通道數和恢復通道數；
根據該上采樣特征圖與該原始特征圖的L2距離，構建損失函數：
式中LL2為該上采樣特征圖與該原始特征圖的L2距離，fup為該上采樣特征圖，f為該原始特征圖，該損失函數用于優化該場景分割結果；
將該特征超分辨率學習模塊插入到特征學習網絡中，并進行端對端的訓練；
其中，使用兩個回歸損失函數，分別應用在特征學習網絡，以恢復中間層的特征圖并收集重建損失，其中回歸損失函數為：
其中分別是步驟1中特征學習網絡的中間層特征圖；分別是由超分辨率恢復模塊產生的特征圖；fb3，fb4分別是步驟2中特征學習網絡的中間層特征圖并作為期望恢復的特征圖目標，用于得到輔助中間層監督的回歸損失Laux1，Laux2
該第一模塊的損失函數為：
L＝λ1LL2+λ2Ls+λ3(Laux1+Laux2)
其中Ls為softmax損失函數，λ1、λ2和λ3是損失函數L中的權重；
采用邊界區域重加權的方法增大邊界區域的回歸損失，以提升特征超分辨率學習模塊對降采樣特征圖中邊界區域的特征恢復能力，其中邊界區域B通過對語義邊界進行半徑為r的擴展得到，該步驟1的最終損失函數為：
其中L(p)代表損失函數L在像素p的損失，γ1γ2。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學院計算技術研究所，未經中國科學院計算技術研究所許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810664250.3/1.html，轉載請聲明來源鉆瓜專利網。
