[發明專利]語義分割方法、裝置、設備及計算機可讀存儲介質

有效

• 申請號: 202010076535.2
• 申請日: 2020-01-23
• 公開（公告）號: CN111292340B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 錢晨;林君儀;陳小康
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06V10/40;G06K9/62;G06V10/764;G06V10/80
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

1.一種語義分割方法，其特征在于，所述方法包括：

獲取待處理圖像的待處理特征信息，所述待處理圖像包括第一模式圖像，以及與所述第一模式圖像對應的第二模式圖像，所述待處理特征信息包括所述第一模式圖像的第一特征信息，以及所述第二模式圖像的第二特征信息；

對所述第一特征信息和所述第二特征信息進行連接，得到第一連接特征信息；

根據所述第一連接特征信息，確定所述待處理特征信息的補償信息；

根據所述補償信息對所述待處理特征信息進行校正，得到校正特征信息；

根據所述校正特征信息，確定所述待處理圖像中每個像素的語義分類結果。

2.根據權利要求1所述的方法，其特征在于，所述補償信息包括所述第一特征信息的補償信息和/或所述第二特征信息的補償信息；

所述根據所述補償信息對所述待處理特征信息進行校正，得到校正特征信息，包括：

在所述補償信息包括第一特征信息的補償信息的情況下，根據所述第一特征信息的補償信息，對所述第一特征信息進行校正，得到所述第一特征信息對應的校正特征信息；

和/或，在所述補償信息包括第二特征信息的補償信息的情況下，根據所述第二特征信息的補償信息，對所述第二特征信息進行校正，得到所述第二特征信息對應的校正特征信息。

3.根據權利要求1或2所述的方法，其特征在于，所述根據所述校正特征信息，確定所述待處理圖像中每個像素的語義分類結果，包括：

根據所述校正特征信息進行融合，得到融合特征信息；

根據所述融合特征信息，獲取所述第一模式圖像和/或所述第二模式圖像中每個像素的語義分類結果。

4.根據權利要求1或2所述的方法，其特征在于，所述根據所述第一連接特征信息，確定所述待處理特征信息的補償信息，包括：

對所述第一連接特征信息進行全局池化操作，得到針對各個特征信息通道的全局信息；

根據所述全局信息確定所述待處理特征信息的各個通道的權重系數；

將所述權重系數與對應的所述待處理特征信息按通道相乘，獲得所述補償信息。

5.根據權利要求1或2所述的方法，其特征在于，所述根據所述補償信息對所述待處理特征信息進行校正，得到校正特征信息，包括：

將所述補償信息與設定縮放矩陣進行相乘，將相乘結果與所述補償信息對應的所述第一特征信息和所述第二特征信息中的至少一種相加，得到所述校正特征信息。

6.根據權利要求1或2所述的方法，其特征在于，所述校正特征信息包括所述第一特征信息對應的校正特征信息，和/或所述第二特征信息對應的校正特征信息；

所述根據所述校正特征信息進行融合，得到融合特征信息，包括：

在所述校正特征信息包括所述第一特征信息對應的校正特征信息的情況下，將所述第一特征信息對應的校正特征信息與所述第二特征信息進行連接，得到第二連接特征信息；

或是，在所述校正特征信息包括所述第二特征信息對應的校正特征信息的情況下，將所述第一特征信息與所述第二特征信息對應的校正特征信息進行連接，得到所述第二連接特征信息；

或是，在所述校正特征信息包括所述第一特征信息對應的校正特征信息以及所述第二特征信息對應的校正特征信息的情況下，將所述第一特征信息對應的校正特征信息與所述第二特征信息對應的校正特征信息進行連接，得到所述第二連接特征信息；

將所述第二連接特征信息降維為單通道特征信息；

根據所述單通道特征信息，獲取所述第一特征信息中每個位置對應的第一權重系數，以及所述第二特征信息中每個位置對應的第二權重系數，其中，同一位置對應的第一權重系數和第二權重系數之和為1；

根據所述第一特征信息和所述第一權重系數，以及所述第二特征信息和所述第二權重系數，得到融合特征信息。

7.根據權利要求1或2所述的方法，其特征在于，所述第一模式圖像包括彩色模式圖像，所述第二模式圖像包括深度模式圖像。