[發明專利]圖像語義分割方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110019145.6
• 申請日: 2021-01-07
• 公開（公告）號: CN114742996A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 楊喆
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/46;G06V10/762;G06V10/764;G06V20/40;G06V20/13;G06V20/58;G06K9/62
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 鐘文芳;劉真

本公開實施例公開了一種圖像語義分割方法、裝置、電子設備及存儲介質，所述方法包括：獲取待處理圖像；確定所述待處理圖像中像素點的初始分類預測結果；基于所述初始分類預測結果對所述待處理圖像的圖像特征進行特征增強處理；根據特征增強處理后的所述圖像特征獲得所述待處理圖像的語義分割預測結果。該技術方案由于使用特征增強處理后的圖像特征對像素點進行聚類能夠使得聚類精度更高，因此最終得到的語義分割預測結果也更加準確。

技術領域

本公開涉及計算機技術領域，具體涉及一種圖像語義分割方法、裝置、電子設備及存儲介質。

背景技術

隨著技術的發展，圖像語義分割在相關領域被大規模使用，而其中的上下文信息的關系提取成為了提升圖像語義分割模型效果的重要途徑。圖像語義分割問題可以看作是不同像素點之間的聚類問題。本公開發明人發現，采用GCN(圖卷積神經網絡)的傳統圖像語義分割模型中，大多數利用GCN網絡去探索像素點之間全局的上下文關系。但是，這類采用GCN傳統圖像語義分割模型所使用的鄰接矩陣采用一種類似注意力機制的方法，通過對圖像特征進行變換而得到，上述這種方式得到的鄰接矩陣不具備明確的解釋性，并且由于缺乏監督信息，需要模型圖像語義分割模型自行學習鄰接矩陣中各個像素點之間的連接關系，因此訓練出的圖像語義分割模型的識別效果并不理想。

發明內容

本公開實施例提供一種圖像語義分割方法、裝置、電子設備及計算機可讀存儲介質。

第一方面，本公開實施例中提供了一種圖像語義分割方法，其中，包括：

獲取待處理圖像；

確定所述待處理圖像中像素點的初始分類預測結果；

基于所述初始分類預測結果對所述待處理圖像的圖像特征進行特征增強處理；

根據特征增強處理后的所述圖像特征獲得所述待處理圖像的語義分割預測結果。

進一步地，基于所述初始分類預測結果對所述待處理圖像的圖像特征進行特征增強處理，包括：

根據所述初始分類預測結果構建所述待處理圖像的鄰接矩陣；其中，所述鄰接矩陣用于描述所述待處理圖像中像素點之間的語義相關關系；

基于所述鄰接矩陣對所述圖像特征進行特征增強處理。

進一步地，根據所述初始分類預測結果構建所述待處理圖像對應的鄰接矩陣，包括：

通過將分類矩陣與分類矩陣的轉置進行相乘的方式構建所述鄰接矩陣；所述分類矩陣為所述初始分類預測結果的矩陣形式。

進一步地，所述特征增強處理包括多個階段，基于所述鄰接矩陣對所述圖像特征進行特征增強處理，包括：

基于所述鄰接矩陣對輸入特征進行當前階段的特征增強處理；其中，所述輸入特征為所述圖像特征或者上一階段的特征增強處理得到的輸出特征；

根據特征增強處理后的所述圖像特征獲得所述待處理圖像的語義分割預測結果，包括：

根據最后一個階段的特征增強處理得到的輸出特征獲取所述語義分割預測結果。

進一步地，確定所述待處理圖像中像素點的初始分類預測結果，包括：

利用語義分割模型中的基礎模型獲取所述待處理圖像的圖像特征；

利用所述語義分割模型中的分類模型對所述待處理圖像中的像素點進行分類預測，獲得所述初始分類預測結果；

基于所述鄰接矩陣對所述圖像特征進行特征增強處理，包括：

利用所述語義分割模型中的特征增強模型，基于所述鄰接矩陣對所述圖像特征進行特征增強處理。

進一步地，所述方法還包括：