[發明專利]語義分割模型的訓練方法和裝置、電子設備、存儲介質

有效

• 申請號: 201710648545.7
• 申請日: 2017-08-01
• 公開（公告）號: CN108229479B
• 公開（公告）日: 2019-12-31
• 發明（設計）人: 詹曉航;劉子緯;羅平;呂健勤;湯曉鷗
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 11657 北京思源智匯知識產權代理有限公司
• 代理人: 毛麗琴

1.一種語義分割模型的訓練方法，其特征在于，包括：

通過語義分割模型，對各未標注圖像進行圖像語義分割，得到初步語義分割結果，作為所述未標注圖像的類別；

通過卷積神經網絡，基于各所述未標注圖像的類別，及各已標注圖像的類別，得到各圖像分別對應的子圖像及子圖像對應的特征，所述各圖像包括各所述未標注圖像及各所述已標注圖像，所述各子圖像攜帶有對應圖像的類別；

基于各子圖像的類別，及各子圖像之間的特征距離，訓練語義分割模型。

2.根據權利要求1所述的方法，其特征在于，基于各子圖像的類別，及各子圖像之間的特征距離，訓練語義分割模型，包括：

根據子圖像之間的類別關系建立面片圖，所述面片圖包括節點和邊，所述節點包括所述子圖像，所述邊包括任意兩個所述子圖像之間的特征距離；

對所述語義分割模型進行訓練，使得所述面片圖中，類別相同的兩個子圖像之間的特征距離小于第一預設值，類別不相同的兩個子圖像之間的特征距離大于第二預設值。

3.根據權利要求2所述的方法，其特征在于，根據子圖像之間的類別關系建立面片圖，包括：

選擇至少一個子圖像作為基準節點，分別針對各基準節點：

將與所述基準節點相同類別的子圖像作為正相關節點，將與所述基準節點不同類別的子圖像作為負相關節點，分別在所述基準節點與各所述正相關節點之間建立正相關連接，分別在所述基準節點與各所述負相關節點建立負相關連接；

由各所述基準節點及其所述正相關節點、所述負相關節點、所述正相關連接以及所述負相關連接形成稀疏連接的所述面片圖。

4.根據權利要求2所述的方法，其特征在于，所述對所述語義分割模型進行訓練，包括：

通過梯度反向傳播算法，對所述語義分割模型進行訓練，以使所述卷積神經網絡的誤差達到最小化，所述誤差為基于所述卷積神經網絡獲得的對應子圖像的特征的三重損失。

5.根據權利要求4所述的方法，其特征在于，所述通過梯度反向傳播算法，對所述語義分割模型進行訓練，包括：

根據所述建立的面片圖中的子圖像之間的特征距離通過損失函數計算得到最大誤差；

將最大誤差通過梯度反向傳播，計算所述卷積神經網絡中每一層的誤差；

根據所述每一層的誤差計算出每一層參數的梯度，根據所述梯度修正所述卷積神經網絡中對應層的參數；

根據優化參數后的卷積神經網絡輸出的子圖像之間的距離計算得到誤差，將所述誤差作為最大誤差；

迭代執行將最大誤差通過梯度反向傳播，計算所述卷積神經網絡中每一層的誤差；根據所述每一層的誤差計算出每一層參數的梯度，根據所述梯度修正所述卷積神經網絡中對應層的參數，直到所述最大誤差小于或等于預設值。

6.根據權利要求4所述的方法，其特征在于，對所述語義分割模型進行訓練，包括：

基于所述卷積神經網絡的訓練結果獲得所述卷積神經網絡的參數；

基于獲得的所述卷積神經網絡的參數初始化所述語義分割模型中的參數。

7.根據權利要求1-6任一所述的方法，其特征在于，基于所述未標注圖像的類別，及已標注圖像的類別，得到各圖像分別對應的子圖像，包括：

響應于預設大小的選擇框在所述各圖像上移動，對選擇框內的像素進行判斷，當所述選擇框內的像素中同一類別的像素所占比例大于或等于預設值時，將所述選擇框內的圖像作為一個子圖像輸出，并對所述子圖像標注為所述類別。

8.根據權利要求7所述的方法，其特征在于，還包括：當所述選擇框內的像素中同一類別的像素所占比例小于預設值時，丟棄所述選擇框。

9.根據權利要求7所述的方法，其特征在于，通過卷積神經網絡得到所述子圖像對應的特征，包括：

通過卷積神經網絡分別對所述未標注圖像和所述已標注圖像進行特征提取，獲取對應所述未標注圖像和所述已標注圖像的特征圖；

基于所述子圖像對應的選擇框的位置和大小，從對應的特征圖中獲得對應所述選擇框內的特征。