[發明專利]基于最大化預測和標簽間相關性損失函數的語義分割方法

有效

• 申請號: 201910505928.8
• 申請日: 2019-06-12
• 公開（公告）號: CN110322445B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 趙帥;蔡登;武伯熹
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于最大化預測和標簽間相關性損失函數的語義分割方法，其特征在于，包括：

(1)將真實場景圖片輸入分割模型，獲得預測圖片；

(2)用一個高斯核函數在預測圖片和標簽圖片上進行滑動卷積，獲得局部統計特征，包括局部的均值和方差；

(3)根據得到的局部統計特征，計算預測圖片和標簽圖片中對應區域間的線性相關性強弱；

(4)將線性相關性強弱的指標作為權重，調整預測圖片中像素點的交叉熵損失的值并進行困難樣本挖掘；

(5)計算每個訓練批次中困難樣本的結構損失函數，并進一步計算用于優化分割模型的總損失函數，更新分割模型中的權重參數；

(6)重復上述步驟(1)至步驟(5)，達到預設訓練次數后結束訓練，并將訓練完畢的模型進行語義分割的應用。

2.根據權利要求1所述的基于最大化預測和標簽間相關性損失函數的語義分割方法，其特征在于，步驟(2)中，采用標準差為1.5的高斯核函數w＝{w_i|i＝1,2,…,k²}來獲得局部統計特征，其中，k是預先設置的常量，代表高斯核的大小，k²表示高斯核中的元素個數，標簽圖片的局部統計特征如下：

其中，μ_y和分別為標簽圖片的局部均值和局部方差，y_i∈{0,1}代表標簽圖片中像素點的值。

3.根據權利要求1所述的基于最大化預測和標簽間相關性損失函數的語義分割方法，其特征在于，步驟(3)中，計算預測圖片和標簽圖片中對應區域間的線性相關性強弱的指標為：

其中，誤差e為兩個局部區域間相關性強弱的表征，e越小，相關性越強；μ_y和σ_y分別是標簽圖片的局部均值和局部標準差，標簽y對應的像素點位于這個局部區域的中心，μ_p和σ_p分別為預測圖片的局部均值和局部標準差，p是分割模型對于預測圖片中像素點的類別歸屬的預測概率，C₄＝0.01是一個穩定因子。

4.根據權利要求1所述的基于最大化預測和標簽間相關性損失函數的語義分割方法，其特征在于，步驟(4)中，調整預測圖片中像素點的交叉熵損失的值并進行困難樣本挖掘所使用的公式如下：

f_n,c＝1{e_n,cβe_max},

其中，n和c代表當前像素點在預測圖片中的坐標，e_max是誤差e的理論最大值，誤差e為步驟(3)中得到的兩個局部區域間相關性強弱的表征值，e_n,c表示在預測圖片中坐標(n,c)處計算得到的表征相關性強弱的具體數值；當內部條件為真時，1{·}等于1，反之為0；β∈[0,1)是用來選擇要被拋棄的樣本的權重因子，y_n,c和p_n,c分別是當前像素點對應的標簽和預測概率，是sigmoid交叉熵損失函數，是最大化預測和標簽間相關性的結構損失函數。

5.根據權利要求4所述的基于最大化預測和標簽間相關性損失函數的語義分割方法，其特征在于，β的值設置為0.1。

6.根據權利要求4所述的基于最大化預測和標簽間相關性損失函數的語義分割方法，其特征在于，步驟(5)中，每個訓練批次中困難樣本的結構損失函數的公式為：

其中，是困難樣本的數目，當位于預測圖片坐標(n,c)的像素點為困難樣本時，f_n,c為1，反之，其值為0；y表示預測圖片中像素點的標簽，p表示分割模型對于預測圖片中像素點的類別歸屬的預測概率，y_n,c表示坐標為(n,c)的像素點對應的標簽，p_n,c表示分割模型對于坐標為(n,c)的像素點給出的類別歸屬概率預測值，表示步驟(4)中得到的最大化預測和標簽間相關性的結構損失函數值；N是預測圖片中總的像素點數目，C代表物體的類別數目；累加并平均每個像素的結構損失函數值，即可得到當前訓練批次的總的結構損失函數值。