[發明專利]一種基于現有圖像語義分割模型的再優化訓練方法及應用

有效

• 申請號: 202010359715.1
• 申請日: 2020-04-29
• 公開（公告）號: CN111612802B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 顏成鋼;胡友鵬;孫垚棋;張繼勇;張勇東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/181;G06N3/0464;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于現有圖像語義分割模型的再優化訓練方法及應用。本發明對圖像語義分割神經網絡模型的最后一層輸出，對接近語義邊緣的所有像素截取所預測的概率最高的若干個預測標簽，通過再優化模型進行特征距離測算，取最近的標簽作為該像素的修正預測標簽，從而達到提高語義分割預測準確率的目的。本發明提出了基于再識別的邊界偏差消除方法，消除了語義邊緣鄰近區域的不確定性，是對成熟的圖像語義分割模型的一次改進。再優化模型專注于語義邊緣的修正任務。另外只針對圖像語義邊緣區域進行優化，在更加具有針對性的前提下，還不會給模型帶來過重的運算時間和空間的負擔。

技術領域

本發明涉及計算機視覺領域，具體涉及一種基于現有圖像語義分割模型的再優化訓練方法及應用。

背景技術

圖像語義分割問題是圖像識別領域地一大研究內容，目標是將圖像以像素為單位進行分割成不同語義信息的圖像區域，其中每個語義區域都有相應的語義標簽(如桌子、墻面、樹木、人、道路等)，可應用于無人駕駛、醫療影像分析、機器人領域。

近年來由于深度學習技術的興起，圖像語義分割也從傳統的手工方法變為了以卷積神經網絡為主流的解決方案，來進行圖像特征的提取與像素級的分類。其中全卷積網絡由于能夠較好地保留像素的位置信息，擴散卷積使得像素感知域擴大以融合更多的上下文信息，均得到了較為廣泛的應用。然而這些技術的采用并沒有完全解決語義分割問題，尤其對于復雜、高迷惑性和低質量地圖片場景。

現有的圖像語義分割方法在上下文信息、細節感知等方面表現出了良好的性能。近年來各種方法之間的系統融合更是成為了主流。如基于邊緣信息融合的Gated-SCNN模型、融入注意力機制的DANet模型、具有很好綜合表現的DeepLab系列模型等。但是對于靠近邊緣像素的分類誤差上述模型均沒有得到很好的解決。但現有的主流方法生成的預測圖像與原始圖像的像素差異主要集中在接近語義邊界的邊緣部分。通過對靠近邊緣的像素進行了進一步優化，可以提高圖像語義分割的效果。

以上技術背景內容的公開僅用于輔助理解本發明的發明構思及技術方案，其并不必然屬于本專利申請的現有技術。

發明內容

本發明針對分割邊緣像素與誤分類模型的高相關度特點，提出了一種基于現有圖像語義分割模型的再優化訓練方法及應用。對圖像語義分割神經網絡模型的最后一層輸出，對接近語義邊緣的所有像素截取所預測的概率最高的若干個預測標簽，通過再優化模型進行特征距離測算，取最近的標簽作為該像素的修正預測標簽，從而達到提高語義分割預測準確率的目的。

本發明的目的通過以下的技術方案實現：

一種基于現有圖像語義分割模型的再優化訓練方法，用于訓練圖像語義分割模型的基于邊緣修正的再優化模型，所述方法包括：

步驟1、針對帶語義標簽的圖像及其標簽進行預處理；

步驟2、對語義標簽矩陣進行邊緣檢測，篩選語義邊緣像素,并延伸篩選語義近邊界像素；

步驟3、通過Backbone模型與空洞空間金字塔池化的再優化模型，進行特征融合，得出所有近邊界像素的語義特征數據集合；

步驟4、對近邊界像素的語義特征數據集，從中隨機選取某標簽的真例兩個，假例一個，計算真例之間特征向量的距離和真假例之間特征向量的距離，若后者減去前者大于冗余量且訓練輪數未達到預設值，則對再優化模型進行下一輪訓練；若小于等于冗余量且訓練輪數未達到預設值，則根據差值對再優化模型通過反向傳播算法進行參數修正；若訓練輪數達到預設值，結束訓練。

步驟5、對最終的語義分割數據集按照標簽類別取均值作為該標簽的特征向量，組成標簽特征向量集合。

一種基于現有圖像語義分割模型的再優化訓練方法的應用，將經過再優化訓練方法得到的再優化圖像語義分割模型對圖像進行語義分割，具體包括如下步驟：

P1、對輸入圖像直接進行濾波與正則化處理；