[發(fā)明專(zhuān)利]基于場(chǎng)景分割的風(fēng)景圖像處理方法、裝置及計(jì)算設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201710909638.0
• 申請(qǐng)日: 2017-09-29
• 公開(kāi)（公告）號(hào): CN107590811B
• 公開(kāi)（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 張蕊;顏水成;唐勝;程斌
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京奇虎科技有限公司
• 主分類(lèi)號(hào): G06T7/10
• 分類(lèi)號(hào): G06T7/10;G06N3/04
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國(guó)

1.一種基于場(chǎng)景分割的風(fēng)景圖像處理方法，所述基于場(chǎng)景分割的風(fēng)景圖像處理方法基于經(jīng)過(guò)訓(xùn)練的場(chǎng)景分割網(wǎng)絡(luò)而執(zhí)行，所述基于場(chǎng)景分割的風(fēng)景圖像處理方法包括：

獲取待處理風(fēng)景圖像；其中，所述待處理風(fēng)景圖像中包含有特定對(duì)象；

將所述待處理風(fēng)景圖像輸入至所述場(chǎng)景分割網(wǎng)絡(luò)中，其中，在場(chǎng)景分割網(wǎng)絡(luò)中至少一層卷積層，利用尺度回歸層輸出的尺度系數(shù)對(duì)該卷積層的第一卷積塊進(jìn)行縮放處理，得到第二卷積塊，而后利用所述第二卷積塊進(jìn)行該卷積層的卷積運(yùn)算，獲得該卷積層的輸出結(jié)果；所述尺度回歸層為所述場(chǎng)景分割網(wǎng)絡(luò)的中間卷積層；所述尺度系數(shù)為尺度回歸層輸出的尺度系數(shù)特征圖中的特征向量；

得到與待處理風(fēng)景圖像對(duì)應(yīng)的場(chǎng)景分割結(jié)果；

根據(jù)與待處理風(fēng)景圖像對(duì)應(yīng)的場(chǎng)景分割結(jié)果，確定特定對(duì)象的輪廓信息；

依據(jù)所述特定對(duì)象的輪廓信息，為特定對(duì)象添加美化效果，得到處理后的風(fēng)景圖像；

其中，所述場(chǎng)景分割網(wǎng)絡(luò)的訓(xùn)練過(guò)程通過(guò)多次迭代完成；在一次迭代過(guò)程中，將樣本圖像輸入至所述場(chǎng)景分割網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，其中，在場(chǎng)景分割網(wǎng)絡(luò)中至少一層卷積層，利用上一次迭代過(guò)程尺度回歸層輸出的尺度系數(shù)或者初始尺度系數(shù)對(duì)該卷積層的第一卷積塊進(jìn)行縮放處理，得到第二卷積塊，而后利用所述第二卷積塊進(jìn)行該卷積層的卷積運(yùn)算，獲得該卷積層的輸出結(jié)果；

其中，所述場(chǎng)景分割網(wǎng)絡(luò)的訓(xùn)練步驟包括：

從樣本庫(kù)中提取樣本圖像以及與樣本圖像對(duì)應(yīng)的標(biāo)注場(chǎng)景分割結(jié)果；

將所述樣本圖像輸入至所述場(chǎng)景分割網(wǎng)絡(luò)中進(jìn)行訓(xùn)練；

獲取與樣本圖像對(duì)應(yīng)的樣本場(chǎng)景分割結(jié)果；

根據(jù)所述樣本場(chǎng)景分割結(jié)果與所述標(biāo)注場(chǎng)景分割結(jié)果之間的分割損失，得到場(chǎng)景分割網(wǎng)絡(luò)損失函數(shù)，根據(jù)所述場(chǎng)景分割網(wǎng)絡(luò)損失函數(shù)更新所述場(chǎng)景分割網(wǎng)絡(luò)的權(quán)重參數(shù)；

迭代執(zhí)行所述場(chǎng)景分割網(wǎng)絡(luò)的訓(xùn)練步驟，直至滿(mǎn)足預(yù)定收斂條件；

其中，所述利用所述第二卷積塊進(jìn)行該卷積層的卷積運(yùn)算，獲得該卷積層的輸出結(jié)果進(jìn)一步包括：

利用線(xiàn)性插值方法，從所述第二卷積塊中采樣得到特征向量，組成第三卷積塊；

依據(jù)所述第三卷積塊與該卷積層的卷積核進(jìn)行卷積運(yùn)算，獲得該卷積層的輸出結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于場(chǎng)景分割的風(fēng)景圖像處理方法，其中，所述預(yù)定收斂條件包括：迭代次數(shù)達(dá)到預(yù)設(shè)迭代次數(shù)；和/或，所述場(chǎng)景分割網(wǎng)絡(luò)損失函數(shù)的輸出值小于預(yù)設(shè)閾值。

3.根據(jù)權(quán)利要求1所述的基于場(chǎng)景分割的風(fēng)景圖像處理方法，其中，所述基于場(chǎng)景分割的風(fēng)景圖像處理方法還包括：在所述場(chǎng)景分割網(wǎng)絡(luò)訓(xùn)練開(kāi)始時(shí)，對(duì)所述尺度回歸層的權(quán)重參數(shù)進(jìn)行初始化處理。

4.根據(jù)權(quán)利要求1所述的基于場(chǎng)景分割的風(fēng)景圖像處理方法，其中，所述依據(jù)所述特定對(duì)象的輪廓信息，為特定對(duì)象添加美化效果，得到處理后的風(fēng)景圖像進(jìn)一步包括：

依據(jù)所述特定對(duì)象的輪廓信息，為特定對(duì)象添加美化效果貼圖，得到處理后的風(fēng)景圖像。

5.根據(jù)權(quán)利要求1所述的基于場(chǎng)景分割的風(fēng)景圖像處理方法，其中，所述依據(jù)所述特定對(duì)象的輪廓信息，為特定對(duì)象添加美化效果，得到處理后的風(fēng)景圖像進(jìn)一步包括：

依據(jù)所述特定對(duì)象的輪廓信息，為所述特定對(duì)象進(jìn)行紋理處理、色調(diào)處理、對(duì)比度處理、光照處理和/或亮度處理，得到處理后的風(fēng)景圖像。

6.根據(jù)權(quán)利要求1所述的基于場(chǎng)景分割的風(fēng)景圖像處理方法，其中，在所述依據(jù)所述特定對(duì)象的輪廓信息，為特定對(duì)象添加美化效果，得到處理后的風(fēng)景圖像之后，所述基于場(chǎng)景分割的風(fēng)景圖像處理方法還包括：

顯示所述處理后的風(fēng)景圖像。

7.根據(jù)權(quán)利要求6中所述的基于場(chǎng)景分割的風(fēng)景圖像處理方法，其中，所述顯示所述處理后的風(fēng)景圖像進(jìn)一步包括：

實(shí)時(shí)顯示所述處理后的風(fēng)景圖像。

8.根據(jù)權(quán)利要求1所述的基于場(chǎng)景分割的風(fēng)景圖像處理方法，其中，在所述依據(jù)所述特定對(duì)象的輪廓信息，為特定對(duì)象添加美化效果，得到處理后的風(fēng)景圖像之后，所述基于場(chǎng)景分割的風(fēng)景圖像處理方法還包括：

根據(jù)用戶(hù)觸發(fā)的拍攝指令，保存所述處理后的風(fēng)景圖像。