[發明專利]一種基于多分辨率輸入與金字塔膨脹卷積的語義分割方法

在審

• 申請號: 201811353131.2
• 申請日: 2018-11-14
• 公開（公告）號: CN109598269A
• 公開（公告）日: 2019-04-09
• 發明（設計）人: 龐彥偉;路文超
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/34
• 分類號: G06K9/34
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

1.一種基于多分辨率輸入與金字塔膨脹卷積的語義分割方法，包括下列步驟：

(1)確定基礎雙支路網絡架構，用于從不同分辨率的輸入圖像中提取不同尺度的特征：該基礎雙支路網絡架構的兩個支路的輸入圖像分辨率不同，均由多個卷積模塊和降采樣模塊組成，卷積模塊包含多個卷積層，用于提取特征；降采樣模塊由池化層組成；輸入低分辨率圖像的支路的卷積層較多，用于提取特征并進行分類，輸出粗糙的預測結果；輸入高分辨率圖像的支路的卷積層較少，用于優化預測結果的空間位置信息，提升分割結果的像素精度。

(2)設計金字塔膨脹卷積模塊，用于提取不同尺度的特征：利用4個不同膨脹率的卷積核的不同感受野提取不同尺寸區域的特征，然后通過級聯操作，融合這4個不同尺寸區域內的特征，從而讓網絡能提取到多尺度的特征，提升網絡對不同尺度目標的分割效果；

(3)設計兩條支路特征融合模塊，用于融合低分辨率圖像支路提取的特征和高分辨率圖像支路提取的特征；高分辨率圖像支路得到原始圖像1/8大小的特征圖，低分辨率圖像支路得到原始圖像1/16大小的特征圖；對低分辨率圖像支路的特征圖用去卷積操作做上采樣，使其分辨率與高分辨率圖像支路的特征圖大小一致，并通過1×1的卷積將其兩支路通道數設為一致；最后將兩支路的特征圖進行逐通道加和，完成不同支路特征的融合；

(4)確定網絡訓練、測試所用的數據集，輸入訓練、測試圖像，輸出網絡的分割結果；利用原始分辨率的標簽進行訓練，利用1/4分辨率的標簽進行輔助訓練，選定一張圖像，將其輸入網絡高分辨率支路；將輸入圖像壓縮為1/2分辨率后輸入網絡的低分辨率支路，利用兩支路提取語義信息和空間位置信息，完成分割。