[發明專利]圖像語義分割模型訓練、圖像語義分割方法及相關裝置

在審

• 申請號: 202110735564.X
• 申請日: 2021-06-30
• 公開（公告）號: CN113361536A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 伍天意;朱歟;郭國棟
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種圖像語義分割模型訓練方法，包括：

利用多個下采樣層對各樣本圖像進行尺度縮減；

控制輸出特征圖的尺度大于預設尺度的下采樣層僅在預設的各子區域內進行像素點間的關聯計算，得到第一特征圖；其中，預先將尺度大于預設尺度的特征圖拆分為多個子區域；

控制輸出特征的尺度不大于所述預設尺度的下采樣層在全圖內進行各像素點間的關聯計算，得到第二特征圖；

利用上采樣層對所述第一特征圖和所述第二特征圖進行尺度恢復，得到處理后特征圖；

基于所述處理后特征圖和相應的圖像語義標注結果，訓練圖像語義分割模型，得到目標圖像語義分割模型。

2.根據權利要求1所述的方法，其中，在所述利用上采樣層對所述第一特征圖和所述第二特征圖進行尺度恢復之前，還包括：

響應于所述第二特征圖與所述第一特征圖的尺度差小于預設尺度差，將所述第二特征圖的尺度恢復至與所述第一特征圖的尺度一致，得到放大后第二特征圖；

融合所述放大后第二特征圖和所述第一特征圖，得到目標第一特征圖；

對應的，利用上采樣層對所述第一特征圖進行尺度恢復，包括：

利用所述上采樣層對所述目標第一特征圖進行尺度恢復。

3.根據權利要求1所述的方法，其中，所述利用上采樣層對所述第一特征圖和所述第二特征圖進行尺度恢復，包括：

根據所述第一特征圖的所述第二特征圖的尺度選用具有相應恢復能力的上采樣層進行尺度恢復；其中，所述每個上采樣層由至少一個具有預設尺度恢復能力的尺度恢復模塊串接形成。

4.根據權利要求1所述的方法，其中，所述利用多個下采樣層對各樣本圖像進行尺度縮減，包括：

利用串接的多個目標下采樣層對各所述樣本圖像進行尺度縮減；其中，每個所述目標下采樣層具有相同的尺度縮減能力。

5.根據權利要求1所述的方法，其中，在所述利用上采樣層對所述第一特征圖和所述第二特征圖進行尺度恢復之后、在所述得到處理后特征圖之前，還包括：

將經尺度恢復后的各特征圖進行融合，得到所述處理后特征圖。

6.根據權利要求1-5任一項所述的方法，其中，所述利用多個下采樣層對各樣本圖像進行尺度縮減，包括：

將各所述樣本圖像分別輸入初始的Transformer模型編碼器中的多個下采樣層進行尺度縮減；

對應的，所述利用上采樣層對所述第一特征圖和所述第二特征圖進行尺度恢復，包括：

將不同的下采樣層分別輸出的第一特征圖和第二特征圖分別輸入初始的Transformer模型解碼器中的不同上采樣層進行相應的尺度恢復。

7.一種圖像語義分割方法，包括：

獲取待處理圖像；

調用目標圖像語義分割模型對所述待處理圖像中的不同圖像內容按語義進行分割；其中，所述目標圖像語義分割模型根據權利要求1-6中任一項所述的圖像語義分割模型訓練方法得到。

8.一種圖像語義分割模型訓練裝置，包括：

尺度縮減單元，被配置成利用多個下采樣層對各樣本圖像進行尺度縮減；

大分辨率關聯計算單元，被配置成控制輸出特征圖的尺度大于預設尺度的下采樣層僅在預設的各子區域內進行像素點間的關聯計算，得到第一特征圖；其中，預先將尺度大于預設尺度的特征圖拆分為多個子區域；

小分辨率關聯計算單元，被配置成控制輸出特征的尺度不大于所述預設尺度的下采樣層在全圖內進行各像素點間的關聯計算，得到第二特征圖；

尺度恢復單元，被配置成利用上采樣層對所述第一特征圖和所述第二特征圖進行尺度恢復，得到處理后特征圖；

模型訓練單元，被配置成基于所述處理后特征圖和相應的圖像語義標注結果，訓練圖像語義分割模型，得到目標圖像語義分割模型。