[發明專利]一種全景分割方法、裝置及設備

在審

• 申請號: 201811542525.2
• 申請日: 2018-12-17
• 公開（公告）號: CN109801307A
• 公開（公告）日: 2019-05-24
• 發明（設計）人: 張維桐;張鍥石;程俊
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06T7/136;G06T7/13;G06K9/62
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 高星

一種全景分割方法包括：獲取待分割的原始圖像；對所述原始圖像進行語義分割，以及通過嵌入空間的度量距離學習方法，對所述原始圖像進行實例分割；將實例分割得到的目標和背景作為實例，通過語義分割輸出圖進行引導，使嵌入空間的實例之間的中心互相排斥，實例范圍內的像素吸引至實例中心，對圖像進行分割；采用聚類損失函數進一步區分不同實例，得到全景分割結果。基于語義分割圖像進行嵌入空間聚類操作，得以對圖像所有像素進行處理，并通過損失函數進一步區分不同實例，從而實現了端到端的全景分割網絡框架。

技術領域

本申請屬于圖像處理領域，尤其涉及一種全景分割方法、裝置及設備。

背景技術

全景分割作為一個新興領域，在很多領域有重要的應用價值和發展前景，如安保布控、工業機器人應用、汽車輔助駕駛等。但形態各異的實例個體、復雜多樣的背景環境、行人與視角之間動態變化的場景、系統實時性與穩定性的嚴格要求等，語義分割和實例分割早已不能滿足當下的需求，全景分割應運而生來補充和解決當下的問題，并對全景分割問題提出了很大挑戰。

目前基于深度學習的全景分割方法，大多依賴于測定候選框架區域的選取，存在不能對所有像素或共享像素進行識別和分割，并且目前的全景分割方法通常是多個子網絡的聯合，不能達成端到端的框架。

發明內容

有鑒于此，本申請實施例提供了一種全景分割方法、裝置及設備，以解決現有技術中的全景分割方法，不能對所有像素或共享像素進行識別和分割，不能達成端到端的框架的問題。

本申請實施例的第一方面提供了一種全景分割方法，所述全景分割方法包括：

獲取待分割的原始圖像；

對所述原始圖像進行語義分割，以及通過嵌入空間的度量距離學習方法，對所述原始圖像進行實例分割；

將實例分割得到的目標和背景作為實例，通過語義分割輸出圖進行引導，使嵌入空間的實例之間的中心互相排斥，實例范圍內的像素吸引至實例中心，對圖像進行分割；

采用聚類損失函數進一步區分不同實例，得到全景分割結果。

結合第一方面，在第一方面的第一種可能實現方式中，所述對所述原始圖像進行語義分割的步驟包括：

采用基于VGG模型的全連接層的完全卷積結構作為骨骼框架，以包含有緊密連接對的遞歸神經網絡的條件隨機作為模型的最終層，對所述原始圖像進行語義分割。

結合第一方面或第一方面的第一種可能實現方式，在第一方面的第二種可能實現方式中，所述將實例分割得到的目標和背景作為實例，通過語義分割輸出圖進行引導，使嵌入空間的實例之間的中心互相排斥，實例范圍內的像素吸引至實例中心，對圖像進行分割的步驟包括：

將實例分割得到的目標和背景作為實例，確定實例的中心點；

根據預先設定的實例排斥力半徑，使嵌入空間的實例中心互相排斥，以及根據預先設定的吸引力半徑，對實例的像素點進行聚類。

結合第一方面，在第一方面的第三種可能實現方式中，所述聚類損失函數為：

L＝α·L_pull+β·L_push+γ·L_nor+θ·L_seg

其中：