[發明專利]一種基于局部區域條件隨機場模型的圖像語義分割方法

在審

• 申請號: 201811003417.8
• 申請日: 2018-08-30
• 公開（公告）號: CN109285162A
• 公開（公告）日: 2019-01-29
• 發明（設計）人: 李訓根;張譽礬;潘勉;于彥貞
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N3/04
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 黃前澤

1.一種基于局部區域條件隨機場模型的圖像語義分割方法，其拓撲結構主要包括全卷積神經網絡結構DeepLab-RES18，區域選擇結構，局部區域條件隨機場模型結構；其特征在于：所述的全卷積神經網絡結構用于提取輸入圖片特征并獲得一個粗糙的分割結果，然后將該結果送入區域選擇結構；區域選擇結構用于將分割結果圖進行邊緣濾波，并選擇分割結果為行人，自行車，機動車的部分的最大外接矩形，然后將這些矩形區域送入局部區域條件隨機場模型；局部區域條件隨機場模型用于精細優化上述矩形區域的分割結果；

所述的全卷積神經網絡結構通過改進DeepLab v2模型所得，將DeepLab v2中的VGG-16結構替換為泛化能力更好的ResNet-18結構；區域選擇結構由一個邊緣濾波器構成，用于獲取分割結果中不同類別的邊緣輪廓并保存屬于行人，自行車，機動車的部分，然后獲取這些部分的最大外接矩形區域；局部區域條件隨機場模型在上述矩形區域中以每個像素點作為一個節點建立條件隨機場模型，最終輸出在上述矩形區域中更加精細的分割結果；

具體過程如下：

步驟一：通過線性插值的方式縮放訓練樣本至720*1080大小，并做減均值處理，選取數據樣本中80％作為訓練數據，20％作為測試數據，測試數據不參與訓練過程；

步驟二：將ResNet-18分類模型在ImageNet上做預訓練直到ResNet-18網絡收斂；

步驟三：將經過預處理的訓練數據送入經過預訓練的全卷積網絡結構中訓練并輸出一個粗糙分割結果特征圖；

步驟四：選取這個分割結果圖中結果為行人，自行車，機動車的部分的最大外接矩形區域，并濾除掉尺寸過小的部分；

步驟五：在步驟四中所得的最大外接矩形區域建立條件隨機場模型，以DeepLab-RES18所產生的分割結果經過softmax后獲得的單通道特征圖作為初始輸入，然后使用像素的顏色特征和空間位置特征的高斯特征計算特征圖中每個像素點的二元勢函數，得到一個雙通道的分割特征圖，接著將上述雙通道特征圖與一個1x1的卷積核進行卷積并輸出一個單通道的特征圖，然后，首先將上述單通道特征圖按類別總數擴展到類別總數個通道，同樣使用一個1x1的卷積核進行卷積操作并輸出一個通道數為類別總數的分割結果，最后將上述過程所得結果直接與DeepLab-RES18網絡產生的結果直接相加并進行softmax歸一化后輸出一個單通道結果圖即為最終分割結果圖。