[發明專利]圖像語義分割模型的訓練方法、可讀存儲介質及電子設備

有效

• 申請號: 201810375579.8
• 申請日: 2018-04-25
• 公開（公告）號: CN108596184B
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 袁春;黎健成
• 申請（專利權）人: 清華大學深圳研究生院
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62
• 代理公司: 深圳市鼎言知識產權代理有限公司 44311
• 代理人: 曾昭毅;鄭海威

1.一種圖像語義分割的訓練方法，其特征在于，所述訓練方法包括：

將預先標注語義分割信息的訓練圖像輸入到圖像語義分割模型中，得到包含語義信息的特征圖及預測的語義分割結果；

將對應所述訓練圖像的所述特征圖輸入到困難樣本挖掘單元中，以通過所述困難樣本挖掘單元計算出所述訓練圖像的困難樣本；

依據所述訓練圖像的所述預測的語義分割結果和預先標注的語義分割信息，統計預測錯誤的像素，將所述預測的語義分割結果中預測錯誤的像素作為參考困難樣本；及

依據所述訓練圖像的所述預測的語義分割結果和預先標注的語義分割信息、所述困難樣本和參考困難樣本，對所述圖像語義分割模型及所述困難樣本挖掘單元的參數進行修正。

2.如權利要求1所述的圖像語義分割的訓練方法，其特征在于，所述圖像語義分割的訓練方法還包括：

判斷所述圖像語義分割模型和所述困難樣本挖掘單元的訓練結果是否滿足預設的收斂條件；

當所述圖像語義分割模型和所述困難樣本挖掘單元的訓練結果未滿足預設的收斂條件時，

執行所述將預先標注語義分割信息的訓練圖像輸入到圖像語義分割模型中，得到包含語義信息的特征圖及預測的語義分割結果；或

執行依據所述訓練圖像的所述預測的語義分割結果和預先標注的語義分割信息，統計預測錯誤的像素，將所述預測的語義分割結果中預測錯誤的像素作為參考困難樣本。

3.如權利要求1所述的圖像語義分割的訓練方法，其特征在于，所述將預先標注語義分割信息的訓練圖像輸入到圖像語義分割模型中，得到包含語義信息的特征圖及預測的語義分割結果包括：

通過卷積模塊及卷積層對所述訓練圖像進行卷積操作，以生成對應的特征圖；

通過反卷積層對所述特征圖進行上采樣，以生成與訓練圖像相同尺寸圖像。

4.如權利要求3所述的圖像語義分割的訓練方法，其特征在于，所述困難樣本挖掘單元接收所述卷積模塊生成的特征圖，以計算出所述訓練圖像的困難樣本。

5.如權利要求1所述的圖像語義分割的訓練方法，其特征在于，所述將對應所述訓練圖像的所述特征圖輸入到困難樣本挖掘單元中，以通過所述困難樣本挖掘單元計算出所述訓練圖像的困難樣本包括：

通過預設卷積層對所述特征圖進行卷積操作生成目標特征圖，以將所述特征圖上的每個像素分為困難樣本與非困難樣本；

對卷積后的目標特征圖的每個像素選取最大值所在的標號，得到所述困難樣本。

6.如權利要求1所述的圖像語義分割的訓練方法，其特征在于，所述對所述圖像語義分割模型和所述困難樣本挖掘單元的參數進行修正包括：

通過交叉熵損失函數計算所述預測的語義分割結果與所述預先標注的語義分割信息之間的誤差；

利用反向傳播算法，并依據所述誤差更新所述圖像語義分割模型和所述困難樣本挖掘單元的參數。

7.如權利要求2所述的圖像語義分割的訓練方法，其特征在于，所述判斷所述圖像語義分割模型和所述困難樣本挖掘單元的訓練結果是否滿足預設的收斂條件包括：

判斷通過交叉熵損失函數計算的所述預測的語義分割結果與所述預先標注的語義分割信息之間的誤差的值是否小于一預設閾值；

當所述預測的語義分割結果與所述預先標注的語義分割信息之間的誤差的值是小于預設閾值時，判定所述圖像語義分割模型和所述困難樣本挖掘單元的訓練結果滿足預設的收斂條件。

8.如權利要求2所述的圖像語義分割的訓練方法，其特征在于，所述判斷所述圖像語義分割模型和所述困難樣本挖掘單元的訓練結果是否滿足預設的收斂條件包括：

判斷迭代次數達到預定值；

當迭代次數達到所述預定值時，判定所述圖像語義分割模型和所述困難樣本挖掘單元的訓練結果滿足預設的收斂條件。

9.一種可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理執行時實現如權利要求1-8中任一項所述的圖像語義分割的訓練方法的步驟。

10.一種電子設備，包括存儲器及處理器，所述存儲器存儲若干被所述處理器執行的程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-8中任一項所述的圖像語義分割的訓練方法的步驟。