[發明專利]一種基于現有圖像語義分割模型的再優化訓練方法及應用

有效

• 申請號: 202010359715.1
• 申請日: 2020-04-29
• 公開（公告）號: CN111612802B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 顏成鋼;胡友鵬;孫垚棋;張繼勇;張勇東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/181;G06N3/0464;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于現有圖像語義分割模型的再優化訓練方法，其特征在于包括如下步驟：

步驟1、針對帶語義標簽的圖像及其標簽進行預處理，得到的圖像矩陣img_w×h×3和語義標簽矩陣label_w×h，并作為訓練數據

步驟2、對語義標簽矩陣label_w×h采用Canny邊緣檢測算子進行邊緣提取，得到語義邊界圖像，再基于語義邊界圖像的邊界點向外延伸，得到語義近邊界圖像矩陣edge_w×h；

步驟3、通過Backbone模型與基于空洞空間金字塔池化的再優化模型，進行特征融合得出語義近邊界像素的語義特征數據集合；

Backbone模型用于圖像矩陣img_w×h×3和語義標簽矩陣label_w×h進行特征提取,得到特征，包括ResNet模型、Xception模型或者輕量級的mobileNet模型；

使用空洞空間金字塔池化的方法對Backbone模型輸出的特征實現多尺度特征融合，得到融合特征圖；

通過雙向線性插值恢復融合特征圖的大小，得到恢復后的特征矩陣Feature_w×h×C,其中C為特征向量長度；進而提取特征矩陣Feature_w×h×C中近邊界像素的語義特征數據集{(Feat_i,Label_i)|Feat_i∈R^1×C,i＜n且i∈N}；其中，Label_i指代第i個近邊界像素在語義標簽矩陣label_w×h中對應的的標簽編號；Feat_i是第i個近邊界像素在特征矩陣Feature_w×h×C中對應的特征向量；

步驟4、從語義特征數據集{(Feat_i,Label_i)|Feat_i∈R^1×C,i＜n且i∈N}中隨機選取標簽j的真例兩個：T₁、T₂；假例一個：F₀，計算真例之間特征向量的距離distance(T₁,T₂)和真假例之間特征向量的距離distance(T₁,F₀)；

若distance(T₁,F₀)-distance(T₁,T₂)≤Δ，則根據距離的差值，對再優化模型通過反向傳播算法進行參數修正，然后重新執行步驟3獲取更新后的語義特征數據集{(Feat_i,Label_i)|Feat_i∈R^1×C,i＜n且i∈N}；然后判斷重復訓練次數是否達到預設值，若沒達到，則重復該步驟4；

若distance(T₁,F₀)-distance(T₁,T₂)＞Δ，則直接判斷重復訓練次數是否達到預設值，若沒達到，則重復該步驟4；

否則訓練輪數達到預設值，結束訓練；

步驟5、對語義特征數據集{(Feat_i,Label_i)|Feat_i∈R^1×C,i＜n且i∈N}，對每種標簽的所有元素對應特征向量取均值，得到標簽特征向量集合{E_j|j＜L且j∈N,E∈R^1×C}，其中j代表標簽的類別，L為所有標簽的數量，E_j代表標簽j對應的特征向量。