[發明專利]語義分割方法、裝置、設備及計算機可讀存儲介質

有效

• 申請號: 202010076535.2
• 申請日: 2020-01-23
• 公開（公告）號: CN111292340B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 錢晨;林君儀;陳小康
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06V10/40;G06K9/62;G06V10/764;G06V10/80
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

公開了一種語義分割方法、裝置、設備及計算機可讀存儲介質，所述方法包括：獲取待處理圖像的待處理特征信息，所述待處理圖像包括第一模式圖像，以及與所述第一模式圖像對應的第二模式圖像，所述待處理特征信息包括所述第一模式圖像的第一特征信息，以及所述第二模式圖像的第二特征信息；對所述第一特征信息和所述第二特征信息進行連接，得到第一連接特征信息；根據所述第一連接特征信息，確定所述待處理特征信息的補償信息；根據所述補償信息對所述待處理特征信息進行校正，得到校正特征信息；根據所述校正特征信息，確定所述待處理圖像中每個像素的語義分類結果。

技術領域

本公開涉及計算機視覺技術，尤其涉及一種語義分割方法、裝置、設備及計算機可讀存儲介質。

背景技術

語義分割是計算機視覺中一個重要的問題，在例如自動駕駛、地質監測、面部分割、精準農業等多個領域中均有應用。

隨著深度傳感器的發展，深度信息也被引入到語義分割中。然而，由于現實場景中深度信息的不確定性以及深度信息中存在的大量噪聲，使得基于深度信息進行的語義分割效果并不理想。

發明內容

本公開實施例提供了一種語義分割方案。

根據本公開的一方面，提供一種語義分割方法，所述方法包括：獲取待處理圖像的待處理特征信息，所述待處理圖像包括第一模式圖像，以及與所述第一模式圖像對應的第二模式圖像，所述待處理特征信息包括所述第一模式圖像的第一特征信息，以及所述第二模式圖像的第二特征信息；對所述第一特征信息和所述第二特征信息進行連接，得到第一連接特征信息；根據所述第一連接特征信息，確定所述待處理特征信息的補償信息；根據所述補償信息對所述待處理特征信息進行校正，得到校正特征信息；根據所述校正特征信息，確定所述待處理圖像中每個像素的語義分類結果。

結合本公開提供的任一實施方式，所述補償信息包括所述第一特征信息的補償信息和/或所述第二特征信息的補償信息；所述根據所述補償信息對所述待處理特征信息進行校正，得到校正特征信息，包括：在所述補償信息包括第一特征信息的補償信息的情況下，根據所述第一特征信息的補償信息，對所述第一特征信息進行校正，得到所述第一特征信息對應的校正特征信息；和/或，在所述補償信息包括第二特征信息的補償信息的情況下，根據所述第二特征信息的補償信息，對所述第二特征信息進行校正，得到所述第二特征信息對應的校正特征信息。

結合本公開提供的任一實施方式，所述根據所述校正特征信息，確定所述待處理圖像中每個像素的語義分類結果，包括：根據所述校正特征信息進行融合，得到融合特征信息；根據所述融合特征信息，獲取所述第一模式圖像和/或所述第二模式圖像中每個像素的語義分類結果。

結合本公開提供的任一實施方式，所述根據所述第一連接特征信息，確定所述待處理特征信息的補償信息，包括：對所述第一連接特征信息進行全局池化操作，得到針對各個特征信息通道的全局信息；根據所述全局信息確定所述待處理特征信息的各個通道的權重系數；將所述權重系數與對應的所述待處理特征信息按通道相乘，獲得所述補償信息。

結合本公開提供的任一實施方式，所述根據所述補償信息對所述待處理特征信息進行校正，得到校正特征信息，包括：將所述補償信息與設定縮放矩陣進行相乘，將相乘結果與所述補償信息對應的所述第一特征信息和所述第二特征信息中的至少一種相加，得到所述校正特征信息。