[發明專利]基于弱監督的語義分割模型的訓練方法、裝置及設備

在審

• 申請號: 202010844279.7
• 申請日: 2020-08-20
• 公開（公告）號: CN112085739A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 郭闖世;邵新慶;劉強;徐明
• 申請（專利權）人: 深圳力維智聯技術有限公司;南京中興力維軟件有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/66;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳鼎合誠知識產權代理有限公司 44281
• 代理人: 彭家恩;彭愿潔

1.一種基于弱監督的語義分割模型的訓練方法，其特征在于，所述方法采用多個預先標注有矩形框標簽的訓練圖像對語義分割模型進行訓練，針對每一個訓練圖像，訓練步驟包括：

對所述訓練圖像的矩形框標簽進行編碼，得到編碼后的標簽數據；

將所述訓練圖像和所述編碼后的標簽數據輸入至預先訓練好的輔助分割網絡，得到所述訓練圖像的特征圖；

將所述訓練圖像的特征圖輸入校正網絡，得到所述訓練圖像的像素級語義分割結果；

根據所述訓練圖像和所述訓練圖像的像素級語義分割結果對所述語義分割模型進行訓練。

2.如權利要求1所述的方法，其特征在于，所述對所述訓練圖像的矩形框標簽進行編碼包括：

使用尺寸為H×W×(C+1)的二進制掩碼對所述訓練圖像進行編碼，在每個類別通道上，將屬于該類別的像素點置為1，其他像素點置為0，其中，H為訓練圖像的高，W為訓練圖像的寬，C為所述語義分割模型輸出的總類別數，1代表背景通道。

3.如權利要求1所述的方法，其特征在于，所述校正網絡包括兩個并列的卷積分支，每個卷積分支由多個卷積層組成；所述校正網絡的輸出包括分類分支、質心分支和回歸分支，所述分類分支用于輸出所述訓練圖像中各個像素點的類別分類，所述質心分支用于輸出所述訓練圖像中各個像素點的中心度，所述回歸分支用于對以所述訓練圖像中各個像素點為端點的線段進行回歸。

4.如權利要求1所述的方法，其特征在于，所述輔助分割網絡采用快速全卷積網絡或者金字塔場景解析網絡。

5.如權利要求1所述的方法，其特征在于，所述根據所述訓練圖像和所述訓練圖像的像素級語義分割結果對所述語義分割模型進行訓練包括：

將所述訓練圖像的像素級語義分割結果作為所述語義分割模型的訓練標簽，計算交叉熵損失；

根據所述交叉熵損失對所述語義分割模型進行梯度回傳，以調整所述語義分割模型的網絡參數。

6.如權利要求5所述的方法，其特征在于，根據如下算式計算交叉熵損失：

其中，L表示交叉熵損失，N為訓練樣本總數，I表示一個訓練圖像中的像素總數，C為所述語義分割模型輸出的總類別數，y_ic表示第i個像素類別為c的真實標簽的值，p_ic表示第i個像素預測為類別c的預測結果值。

7.如權利要求1-6任一項所述的方法，其特征在于，所述方法還包括：

迭代執行所述訓練步驟，直至所述語義分割模型的訓練結果滿足預設收斂條件。

8.一種基于弱監督的語義分割模型的訓練裝置，其特征在于，所述裝置采用多個預先標注有矩形框標簽的訓練圖像對語義分割模型進行訓練，包括：

編碼模塊，用于對所述訓練圖像的矩形框標簽進行編碼，得到編碼后的標簽數據；

輔助分割模塊，用于將所述訓練圖像和所述編碼后的標簽數據輸入至預先訓練好的輔助分割網絡，得到所述訓練圖像的特征圖；

校正模塊，用于將所述訓練圖像的特征圖輸入校正網絡，得到所述訓練圖像的像素級語義分割結果；

訓練模塊，用于根據所述訓練圖像和所述訓練圖像的像素級語義分割結果對所述語義分割模型進行訓練。

9.一種電子設備，其特征在于，包括：至少一個處理器和存儲器；

所述存儲器存儲計算機執行指令；

所述至少一個處理器執行所述存儲器存儲的計算機執行指令，使得所述至少一個處理器執行如權利要求1-7任一項所述的基于弱監督的語義分割模型的訓練方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機執行指令，所述計算機執行指令被處理器執行時用于實現如權利要求1-7任一項所述的基于弱監督的語義分割模型的訓練方法。