[發(fā)明專利]基于深度感知的單目視覺圖像背景快速虛化的方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011049747.8
• 申請日: 2020-09-29
• 公開（公告）號: CN112184586A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設計）人: 冷聰;李成華;喬聰玉;程健
• 申請（專利權）人: 中科方寸知微（南京）科技有限公司;中國科學院自動化研究所南京人工智能芯片創(chuàng)新研究院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T11/00;G06N3/08;G06N3/04
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 張磊

1.一種基于深度感知的單目視覺圖像背景快速虛化的方法，其特征在于，包括：

步驟一、建立模型訓練數(shù)據(jù)集；

步驟二、構建深度感知的單目視覺圖像訓練網(wǎng)絡；

步驟三、經(jīng)過訓練的神經(jīng)網(wǎng)絡模型接收待進行散景渲染的圖片，完成散景渲染后將圖片輸出。

2.根據(jù)權利要求1所述的一種基于深度感知的單目視覺圖像背景快速虛化的方法，其特征在于，所述步驟一進一步為：

建立用于步驟二中構建模型訓練的數(shù)據(jù)集，所述數(shù)據(jù)集為真實場景圖片，其中，每張場景圖片都具有對應的照片，所述對應的照片為具有背景虛化的圖片；所述具有背景虛化的圖片用于與模型輸出圖片對比，從而獲得產(chǎn)生的誤差值。

3.根據(jù)權利要求1所述的一種基于深度感知的單目視覺圖像背景快速虛化的方法，其特征在于，所述步驟二進一步為：

構建深度感知的單目視覺圖像訓練網(wǎng)絡，訓練該網(wǎng)絡形成產(chǎn)生散景效果渲染的網(wǎng)絡模型；該網(wǎng)絡的訓練方式為首先接收步驟一建立數(shù)據(jù)集中的輸入圖片數(shù)據(jù)；其次，通過設計的卷積層和激活函數(shù)的協(xié)同方式進行特征提取；然后，利用損失函數(shù)激活學習權重；最后，通過模糊函數(shù)的迭代形成預定模糊程度效果的呈現(xiàn)，并通過權重、模糊函數(shù)迭代結果兩者的加權和實現(xiàn)最終圖像的輸出，通過按照流程完成網(wǎng)絡學習訓練，得到輸出圖片為具有散景效果的網(wǎng)絡模型。

4.根據(jù)權利要求1所述的一種基于深度感知的單目視覺圖像背景快速虛化的方法，其特征在于，所述步驟二進一步為：

產(chǎn)生帶有散景渲染效果圖片的模型具體可以構建為：

其中，I_bokeh表示最終獲得的圖像，I_org表示原始圖像，表示矩陣逐元素相乘，B_i(·)是第i級模糊函數(shù)，W_i表示第i層數(shù)據(jù)圖像的特征權重矩陣值，涉及的第i級模糊函數(shù)B_i(·)為淺層模糊神經(jīng)網(wǎng)絡迭代i次獲得的，其表示為：

其中，損失函數(shù)l采用重構函數(shù)和結構相似性SSIM的結合，通過誤差值的反向傳播優(yōu)化模型；其中l(wèi)₁具體為：

其中，I_bokeh表示模型生成帶有散景效果的圖像，表示實際帶有散景效果的圖像的原始圖像，表示產(chǎn)生的圖像I_bokeh與實際圖像之間的結構相似性，具體如下：

其中，α、β、γ為預設定的常數(shù)，表示產(chǎn)生的圖像I_bokeh與實際圖像之間的亮度關系，表示產(chǎn)生的圖像I_bokeh與實際圖像之間的對比度關系，表示產(chǎn)生的圖像I_bokeh與實際圖像之間的結構關系。

5.根據(jù)權利要求1所述的一種基于深度感知的單目視覺圖像背景快速虛化的方法，其特征在于，所述步驟三進一步為：

首先，步驟二中獲得的散景效果渲染的網(wǎng)絡模型接收待進行背景虛化的圖片；其次，散景效果渲染網(wǎng)絡模型中的卷積層和激活函數(shù)提取計算接收到圖像的特征圖權重，并將獲得的數(shù)值作為模糊層加權和的對應數(shù)據(jù)；再次，散景效果渲染網(wǎng)絡模型中的淺層模糊網(wǎng)絡將接收到的待進行背景虛化的圖片信號進行模糊化操作；從次，利用散景效果渲染網(wǎng)絡模型中設定的加權和計算方式，將獲得的權重和模糊函數(shù)進行加權和的計算，獲得處理后圖像的數(shù)值；最后，散景效果渲染網(wǎng)絡模型將獲得處理后的圖像數(shù)值輸出，即將產(chǎn)生具有散景效果渲染的圖像輸出。

6.一種基于深度感知的單目視覺圖像背景快速虛化的系統(tǒng)，用于實現(xiàn)上述權利要求1～5中任一項所述方法其特征在于其特征在于包含以下模塊：

用于建立訓練集的第一模塊；

用于獲得具有散景效果網(wǎng)絡模型的第二模塊；

用于實現(xiàn)散景效果的第三模塊。