[發明專利]圖像語義分割方法及裝置

在審

• 申請號: 202110033687.9
• 申請日: 2021-01-11
• 公開（公告）號: CN112686267A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 范銘源;賴申其;黃君實;羅鈞峰;魏曉明;張珂;蘇金明;郭魏銘
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

本公開提供了一種圖像語義分割方法及裝置。包括：將待處理圖像輸入至圖像識別模型；圖像識別模型包括：短時密集連接網絡層和解碼網絡層，短時密集連接網絡層包括：卷積模塊、多個短時密集連接層和輸出模塊，短時密集連接層包含多個短時密集連接模塊；調用卷積模塊對待處理圖像進行處理得到待處理圖像對應的第一特征圖；調用短時密集連接層對第一特征圖進行處理得到第二特征圖；調用輸出模塊對第二特征圖進行處理得到第三特征圖；調用解碼網絡層對第三特征圖進行上采樣并向分割類別映射，得到通道數為分割類別數的第四特征圖；根據第四特征圖確定待處理圖像對應的語義分割結果。本公開可以減少網絡結構性冗余，提高圖像語義分割性能和效率。

技術領域

本公開的實施例涉及圖像處理技術領域，尤其涉及一種圖像語義分割方法及裝置。

背景技術

語義分割是計算機視覺領域中的一個基礎方向，隨著近些年來深度學習方法的進度，語義分割方向也取得長足進展，在越來越多的場景取得應用，如自動駕駛、人機交互、醫療分析、增強現實等。

為了兼顧語義分割的實時性和有效性的要求，目前實時語義分割的設計的一個主流做法為：選用已有的輕量級主干網絡進行編碼，自主設計輕量級的解碼網絡，以實現提高分割效率，其中ResNet-18，Xception-39等是經常選用的主干網絡，但是這些主干網絡缺乏對于分割任務的定制化設計，其自身的結構對于分割任務來說可能會產生結構性冗余，直接用作主干網絡會導致語義分割性能和效率的下降。

發明內容

本公開的實施例提供一種圖像語義分割方法及裝置，用以使得網絡既能夠捕捉分割任務所需要的多尺度感受野信息，又能夠去除結構性冗余，使得網絡高效運作，滿足實時語義分割的要求。

根據本公開的實施例的第一方面，提供了一種圖像語義分割方法，包括：

將待處理圖像輸入至圖像識別模型；所述圖像識別模型包括：短時密集連接網絡層和解碼網絡層，所述短時密集連接網絡層包括：卷積模塊、多個串聯連接的短時密集連接層和輸出模塊，每個短時密集連接層均包含多個短時密集連接模塊；

調用所述卷積模塊對所述待處理圖像進行處理，得到所述待處理圖像對應的第一特征圖；

調用所述短時密集連接層對所述第一特征圖進行處理，得到所述第一特征圖對應的第二特征圖；

調用所述輸出模塊對所述第二特征圖進行處理，得到所述第二特征圖對應的第三特征圖；

調用所述解碼網絡層對所述第三特征圖進行上采樣，并向分割類別映射，得到通道數為分割類別數的第四特征圖；

根據所述第四特征圖，確定所述待處理圖像對應的語義分割結果。

可選地，所述卷積模塊包括：第一卷積單元和第二卷積單元，

所述調用所述卷積模塊對所述待處理圖像進行處理，得到所述待處理圖像對應的第一特征圖，包括：

調用所述第一卷積單元通過設定大小的卷積核對所述待處理圖像進行兩倍的下采樣，得到通道數為第一通道數的中間特征圖；

調用所述第二卷積單元通過設定大小的卷積核對所述中間特征圖進行兩倍的下采樣，得到通道數為第二通道數的第一特征圖；

其中，所述第二通道數為所述第一通道數的2倍。

可選地，每個短時密集連接層中的多個短時密集連接模塊包括：第一短時密集連接模塊和至少一個第二短時密集連接模塊，

所述調用所述短時密集連接層對所述第一特征圖進行處理，得到所述第一特征圖對應的第二特征圖，包括：

調用所述多個短時密集連接層中第一個短時密集連接層中的第一短時密集連接模塊對所述第一特征圖進行兩倍的下采樣，得到通道數為第三通道數的第一初始特征圖；所述第三通道數為所述第二通道數的2倍；