[發(fā)明專利]基于場景分割的圖像穿越處理方法、裝置及計算設(shè)備

有效

• 申請?zhí)枺?/td>: 201710907126.0
• 申請日: 2017-09-29
• 公開（公告）號: CN107622498B
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 張蕊;顏水成;唐勝;程斌
• 申請（專利權(quán)）人: 北京奇虎科技有限公司
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/194
• 代理公司: 深圳市世紀恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國

1.一種基于場景分割的圖像穿越處理方法，所述方法基于經(jīng)過訓(xùn)練的場景分割網(wǎng)絡(luò)而執(zhí)行，所述方法包括：

獲取待處理圖像和時間處理參數(shù)；其中，所述待處理圖像中包含有特定對象；

將所述待處理圖像輸入至所述場景分割網(wǎng)絡(luò)中，其中，在場景分割網(wǎng)絡(luò)中至少一層卷積層，利用尺度回歸層輸出的尺度系數(shù)對該卷積層的第一卷積塊進行縮放處理，得到第二卷積塊，而后利用所述第二卷積塊進行該卷積層的卷積運算，獲得該卷積層的輸出結(jié)果；所述尺度回歸層為所述場景分割網(wǎng)絡(luò)的中間卷積層；所述尺度系數(shù)為尺度回歸層輸出的尺度系數(shù)特征圖中的特征向量；所述利用所述第二卷積塊進行該卷積層的卷積運算，獲得該卷積層的輸出結(jié)果進一步包括：利用線性插值方法，從所述第二卷積塊中采樣得到特征向量，組成第三卷積塊，依據(jù)所述第三卷積塊與該卷積層的卷積核進行卷積運算，獲得該卷積層的輸出結(jié)果；

得到與待處理圖像對應(yīng)的場景分割結(jié)果；

根據(jù)與待處理圖像對應(yīng)的場景分割結(jié)果，確定特定對象的輪廓信息；

依據(jù)所述特定對象的輪廓信息和所獲取的時間處理參數(shù)，添加時間處理效果，得到處理后的圖像；

其中，所述場景分割網(wǎng)絡(luò)的訓(xùn)練過程通過多次迭代完成；在一次迭代過程中，將樣本圖像輸入至所述場景分割網(wǎng)絡(luò)中進行訓(xùn)練，其中，在場景分割網(wǎng)絡(luò)中至少一層卷積層，利用上一次迭代過程尺度回歸層輸出的尺度系數(shù)或者初始尺度系數(shù)對該卷積層的第一卷積塊進行縮放處理，得到第二卷積塊，而后利用所述第二卷積塊進行該卷積層的卷積運算，獲得該卷積層的輸出結(jié)果；

所述利用所述第二卷積塊進行該卷積層的卷積運算，獲得該卷積層的輸出結(jié)果進一步包括：

利用線性插值方法，從所述第二卷積塊中采樣得到特征向量，組成第三卷積塊；

依據(jù)所述第三卷積塊與該卷積層的卷積核進行卷積運算，獲得該卷積層的輸出結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述場景分割網(wǎng)絡(luò)訓(xùn)練所用的樣本包含：樣本庫存儲的多個樣本圖像以及與樣本圖像對應(yīng)的標注場景分割結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其中，在一次迭代過程中，從所述樣本庫中提取樣本圖像以及與樣本圖像對應(yīng)的標注場景分割結(jié)果，利用所述樣本圖像和所述標注場景分割結(jié)果實現(xiàn)場景分割網(wǎng)絡(luò)的訓(xùn)練。

4.根據(jù)權(quán)利要求3所述的方法，其中一次迭代過程包括：

將樣本圖像輸入至場景分割網(wǎng)絡(luò)，得到與樣本圖像對應(yīng)的樣本場景分割結(jié)果；

根據(jù)所述樣本場景分割結(jié)果與所述標注場景分割結(jié)果之間的分割損失，得到場景分割網(wǎng)絡(luò)損失函數(shù)，利用所述場景分割網(wǎng)絡(luò)損失函數(shù)實現(xiàn)場景分割網(wǎng)絡(luò)的訓(xùn)練。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述場景分割網(wǎng)絡(luò)的訓(xùn)練步驟包括：

從所述樣本庫中提取樣本圖像以及與樣本圖像對應(yīng)的標注場景分割結(jié)果；

將所述樣本圖像輸入至所述場景分割網(wǎng)絡(luò)中進行訓(xùn)練；

獲取與樣本圖像對應(yīng)的樣本場景分割結(jié)果；

根據(jù)所述樣本場景分割結(jié)果與所述標注場景分割結(jié)果之間的分割損失，得到場景分割網(wǎng)絡(luò)損失函數(shù)，根據(jù)所述場景分割網(wǎng)絡(luò)損失函數(shù)更新所述場景分割網(wǎng)絡(luò)的權(quán)重參數(shù)；

迭代執(zhí)行所述場景分割網(wǎng)絡(luò)的訓(xùn)練步驟，直至滿足預(yù)定收斂條件。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述預(yù)定收斂條件包括：迭代次數(shù)達到預(yù)設(shè)迭代次數(shù)；和/或，所述場景分割網(wǎng)絡(luò)損失函數(shù)的輸出值小于預(yù)設(shè)閾值。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述方法還包括：在所述場景分割網(wǎng)絡(luò)訓(xùn)練開始時，對所述尺度回歸層的權(quán)重參數(shù)進行初始化處理。

8.根據(jù)權(quán)利要求1-7中任一項所述的方法，其中，所述依據(jù)所述特定對象的輪廓信息和所獲取的時間處理參數(shù)，添加時間處理效果，得到處理后的圖像進一步包括：

根據(jù)所獲取的時間處理參數(shù)，確定時間處理效果貼圖；

依據(jù)所述特定對象的輪廓信息，添加時間處理效果貼圖，得到處理后的圖像。