[發(fā)明專利]圖像語義分割方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010139560.0
• 申請日: 2020-03-03
• 公開（公告）號: CN113361529A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計）人: 張鵬飛
• 申請（專利權(quán)）人: 北京四維圖新科技股份有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 楊俊輝;臧建明

1.一種圖像語義分割方法，其特征在于，應(yīng)用于卷積網(wǎng)絡(luò)，所述卷積網(wǎng)絡(luò)包括第三卷積模塊，所述方法包括：

對圖像進行處理，獲得至少一個第一特征圖及所述至少一個第一特征圖的分類信息的置信度；

根據(jù)每個所述第一特征圖的分類信息的置信度對每個所述第一特征圖進行局部加強處理，獲得第三特征圖；

使用所述第三卷積模塊對所述第三特征圖進行分類卷積運算，確定所述第三特征圖的分類信息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)每個所述第一特征圖的分類信息的置信度對每個所述第一特征圖進行局部加強處理，獲得第三特征圖，具體包括：

根據(jù)每個所述第一特征圖的分類信息的置信度對每個所述第一特征圖進行處理，獲得第二特征圖；

對所述第一特征圖和所述第二特征圖進行疊加處理，獲得所述第三特征圖。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)每個所述第一特征圖的分類信息的置信度對每個所述第一特征圖進行處理，獲得第二特征圖，具體包括：

對所述分類信息的置信度進行取反處理，獲得注意力矩陣；

將所述注意力矩陣和每個所述第一特征圖相乘，獲得所述第二特征圖。

4.根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，所述卷積網(wǎng)絡(luò)還包括：第二卷積模塊和第一卷積模塊；所述對圖像進行處理，獲得至少一個第一特征圖及所述至少一個第一特征圖的分類信息的置信度，具體包括：

使用所述第一卷積模塊對所述圖像進行卷積處理，獲得至少一個第一特征圖；

使用所述第二卷積模塊對每個所述第一特征圖進行分類卷積處理，獲得每個所述第一特征圖的分類信息的置信度。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述使用所述第二卷積模塊對每個所述第一特征圖進行分類卷積處理，獲得每個所述第一特征圖的分類信息的置信度，之后還包括：

對每個所述第一特征圖的分類信息的置信度進行歸一化處理。

6.根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，所述方法還包括：

獲取訓(xùn)練特征圖輸入所述卷積網(wǎng)絡(luò)時由第二卷積模塊輸出的第一訓(xùn)練特征圖的類別信息的置信度；

根據(jù)所述第一訓(xùn)練特征圖的類別信息的置信度和訓(xùn)練圖像的實際類別信息確定輔損失值；其中，所述輔損失值用于在訓(xùn)練所述卷積網(wǎng)絡(luò)時，反向傳播至第一卷積模塊和第二卷積模塊。

7.根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，所述方法還包括：

獲取訓(xùn)練特征圖輸入所述卷積網(wǎng)絡(luò)時由所述第三卷積模塊輸出的第二訓(xùn)練特征圖的類別信息的置信度；

根據(jù)所述第二訓(xùn)練特征圖的類別信息的置信度和訓(xùn)練圖像的實際類別信息確定主損失值；其中，所述主損失值用于在訓(xùn)練所述卷積網(wǎng)絡(luò)時，反向傳播至所述第三卷積模塊和第一卷積模塊。

8.一種圖像語義分割裝置，其特征在于，應(yīng)用于卷積網(wǎng)絡(luò)，所述卷積網(wǎng)絡(luò)包括第三卷積模塊，所述裝置包括：

獲得模塊，用于對圖像進行處理，獲得至少一個第一特征圖及所述至少一個第一特征圖的分類信息的置信度；

所述獲得模塊還用于根據(jù)每個所述第一特征圖的分類信息的置信度對每個所述第一特征圖進行局部加強處理，獲得第三特征圖；

確定模塊，用于使用所述第三卷積模塊對所述第三特征圖進行分類卷積運算，確定所述第三特征圖的分類信息。

9.一種電子設(shè)備，其特征在于，包括：

存儲器，用于存儲程序；

處理器，用于執(zhí)行所述存儲器存儲的所述程序，當(dāng)所述程序被執(zhí)行時，所述處理器用于執(zhí)行如權(quán)利要求1至7中任一所述的圖像語義分割方法。

10.一種計算機可讀存儲介質(zhì)，其特征在于，包括指令，當(dāng)其在計算機上運行時，使得計算機執(zhí)行如權(quán)利要求1至7中任一所述的圖像語義分割方法。