[發(fā)明專利]一種全景分割方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201811542525.2
• 申請(qǐng)日: 2018-12-17
• 公開(kāi)（公告）號(hào): CN109801307A
• 公開(kāi)（公告）日: 2019-05-24
• 發(fā)明（設(shè)計(jì)）人: 張維桐;張鍥石;程俊
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06T7/194
• 分類號(hào): G06T7/194;G06T7/136;G06T7/13;G06K9/62
• 代理公司: 深圳中一專利商標(biāo)事務(wù)所 44237
• 代理人: 高星

1.一種全景分割方法，其特征在于，所述全景分割方法包括：

獲取待分割的原始圖像；

對(duì)所述原始圖像進(jìn)行語(yǔ)義分割，以及通過(guò)嵌入空間的度量距離學(xué)習(xí)方法，對(duì)所述原始圖像進(jìn)行實(shí)例分割；

將實(shí)例分割得到的目標(biāo)和背景作為實(shí)例，通過(guò)語(yǔ)義分割輸出圖進(jìn)行引導(dǎo)，使嵌入空間的實(shí)例之間的中心互相排斥，實(shí)例范圍內(nèi)的像素吸引至實(shí)例中心，對(duì)圖像進(jìn)行分割；

采用聚類損失函數(shù)進(jìn)一步區(qū)分不同實(shí)例，得到全景分割結(jié)果。

2.根據(jù)權(quán)利要求1所述的全景分割方法，其特征在于，所述對(duì)所述原始圖像進(jìn)行語(yǔ)義分割的步驟包括：

采用基于VGG模型的全連接層的完全卷積結(jié)構(gòu)作為骨骼框架，以包含有緊密連接對(duì)的遞歸神經(jīng)網(wǎng)絡(luò)的條件隨機(jī)作為模型的最終層，對(duì)所述原始圖像進(jìn)行語(yǔ)義分割。

3.根據(jù)權(quán)利要求1或2所述的全景分割方法，其特征在于，所述將實(shí)例分割得到的目標(biāo)和背景作為實(shí)例，通過(guò)語(yǔ)義分割輸出圖進(jìn)行引導(dǎo)，使嵌入空間的實(shí)例之間的中心互相排斥，實(shí)例范圍內(nèi)的像素吸引至實(shí)例中心，對(duì)圖像進(jìn)行分割的步驟包括：

將實(shí)例分割得到的目標(biāo)和背景作為實(shí)例，確定實(shí)例的中心點(diǎn)；

根據(jù)預(yù)先設(shè)定的實(shí)例排斥力半徑，使嵌入空間的實(shí)例中心互相排斥，以及根據(jù)預(yù)先設(shè)定的吸引力半徑，對(duì)實(shí)例的像素點(diǎn)進(jìn)行聚類。

4.根據(jù)權(quán)利要求1所述的全景分割方法，其特征在于，所述聚類損失函數(shù)為：

L＝α·L_pull+β·L_push+γ·L_nor+θ·L_seg

其中：

S表示標(biāo)準(zhǔn)數(shù)據(jù)當(dāng)中標(biāo)定的聚類個(gè)數(shù)，E_s代表了聚類S當(dāng)中包含的所有元素，x_i代表嵌入空間，μ代表S的所有聚類中心，|| ||代表著深度空間當(dāng)中的距離，η_pull和η_push分別表示引力與斥力在嵌入空間當(dāng)中的作用邊緣閾值，N_s表示S聚類實(shí)例當(dāng)中包含的像素個(gè)數(shù)，α、β、γ、θ為調(diào)節(jié)參數(shù)。

5.根據(jù)權(quán)利要求1所述的全景分割方法，基特征在于，所述將實(shí)例分割得到的目標(biāo)和背景作為實(shí)例，通過(guò)語(yǔ)義分割輸出圖進(jìn)行引導(dǎo)，使嵌入空間的實(shí)例之間的中心互相排斥，實(shí)例范圍內(nèi)的像素吸引至實(shí)例中心，對(duì)圖像進(jìn)行分割的步驟包括：

根據(jù)語(yǔ)義分割生成原始圖片中的語(yǔ)義標(biāo)定和掩碼，通過(guò)嵌入空間的實(shí)例分割生成多維像素嵌入的實(shí)例，通過(guò)深度度量空間進(jìn)行聚類融合，輸出聚集的分割圖像。

6.一種全景分割裝置，其特征在于，所述全景分割裝置包括：

原始圖像獲取單元，用于獲取待分割的原始圖像；

分割單元，用于對(duì)所述原始圖像進(jìn)行語(yǔ)義分割，以及通過(guò)嵌入空間的度量距離學(xué)習(xí)方法，對(duì)所述原始圖像進(jìn)行實(shí)例分割；

融合單元，用于將實(shí)例分割得到的目標(biāo)和背景作為實(shí)例，通過(guò)語(yǔ)義分割輸出圖進(jìn)行引導(dǎo)，使嵌入空間的實(shí)例之間的中心互相排斥，實(shí)例范圍內(nèi)的像素吸引至實(shí)例中心，對(duì)圖像進(jìn)行分割；

損失訓(xùn)練單元，用于采用聚類損失函數(shù)進(jìn)一步區(qū)分不同實(shí)例，得到全景分割結(jié)果。

7.根據(jù)權(quán)利要求6所述的全景分割裝置，其特征在于，所述融合單元包括：

實(shí)例確定子單元，用于將實(shí)例分割得到的目標(biāo)和背景作為實(shí)例，確定實(shí)例的中心點(diǎn)；

聚類單元，用于根據(jù)預(yù)先設(shè)定的實(shí)例排斥力半徑，使嵌入空間的實(shí)例中心互相排斥，以及根據(jù)預(yù)先設(shè)定的吸引力半徑，對(duì)實(shí)例的像素點(diǎn)進(jìn)行聚類。