[發明專利]基于深度感知的單目視覺圖像背景快速虛化的方法及系統

在審

• 申請號: 202011049747.8
• 申請日: 2020-09-29
• 公開（公告）號: CN112184586A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 冷聰;李成華;喬聰玉;程健
• 申請（專利權）人: 中科方寸知微（南京）科技有限公司;中國科學院自動化研究所南京人工智能芯片創新研究院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T11/00;G06N3/08;G06N3/04
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 張磊

本發明提出了一種基于深度感知的單目視覺圖像背景快速虛化的方法及實現該方法的系統，該方法通過構建單目深度估計學網絡進行圖片背景虛化的學習，利用進一步修改后的卷積層來學習空間權值的變化。本發明有效減少過分依賴一定場景的數據集而導致的泛化性能較差的問題，以及利用大量數據集訓練端到端的神經輸出網絡，達到減少復雜度提高運行速度的目的。

技術領域

本發明涉及一種基于對抗生成網絡的散景效果渲染方法及系統，涉及一般的圖像數據處理和基于機器深度學習的圖像重建技術，尤其涉及基于神經網絡構建的散景效果處理分析領域。

背景技術

背景虛化是攝影領域的一項重要技巧，通常拍攝者為了突出圖像中的某一區域而將圖像中的不感興趣的部分模糊處理即背景虛化。

現有技術中，背景虛化的算法局限于對含人像的數據，或是將深度估計和圖像顯著性分割作為先驗知識和原始圖像一起作為輸入數據訓練一個端到端的網絡。然而這兩種思路衍生的方法缺點很明顯。第一類方法的數據集沒有包含一般場景中的圖像如自然風光，導致這類算法通常對除人像外的圖像不起作用。第二類方法，只是將深度估計和圖像顯著性作為先驗知識輸入一個端到端的神經網絡訓練，其可解釋性較差，且運行速度較慢。

發明內容

發明目的：一個目的是提出一種基于深度感知的單目視覺圖像背景快速虛化的方法，以解決現有技術存在的上述問題。進一步目的是提出一種實現上述方法的系統。

技術方案：一種基于深度感知的單目視覺圖像背景快速虛化的方法包括以下步驟：

步驟一、建立模型訓練數據集；

步驟二、構建深度感知的單目視覺圖像訓練網絡；

步驟三、經過訓練的神經網絡模型接收待進行散景渲染的圖片，完成散景渲染后將圖片輸出。

在進一步的實施例中，所述步驟一進一步為：建立用于步驟二中模型訓練的圖片數據集，為提高對真實場景中包含數據的學習，采用數據集均為真實場景圖片。數據集中圖片均已成對的方式存儲，即分別為原始圖片和對應帶有散景渲染效果的圖片。其中該數據集中的原始圖片作為模型訓練過程中的輸入數據，數據集中帶有散景效果的圖片作為模型訓練過程中用于與模型輸出圖片進行比對的對比數據。

在進一步的實施例中，所述步驟二進一步為：

構建深度感知的單目視覺圖像訓練網絡，訓練該網絡形成產生散景效果渲染的網絡模型。該網絡的訓練方式為首先接收步驟一建立數據集中的輸入圖片數據I_org；其次，通過設計的卷積層和激活函數的協同方式進行特征圖像的提取；然后，利用損失函數激活學習權重；最后，通過模糊函數的迭代形成預定模糊程度效果的呈現，并通過權重與模糊函數迭代結果的加權和實現最終圖像的輸出。通過上述流程完成網絡學習訓練，得到輸出圖片為I_bokeh的網絡模型，其中I_bokeh為帶有散景效果渲染的圖片。產生帶有散景渲染效果圖片的模型具體可以構建為：

即將步驟一建立的數據集中的對比數據看作為數據集中輸入數據平滑版本的加權和。其中，I_org表示原始圖像，表示矩陣逐元素相乘，B_i(·)表示第i級模糊函數，W_i表示第i層數據圖像的特征權重矩陣值，且W_i還滿足所采用的第i級模糊函數B_i(·)為淺層模糊神經網絡循環迭代i次獲得的，其具體表示為：

訓練過程中，損失函數l采用重構函數和結構相似性SSIM的結合，提高輸出數據和對比數據之間的緊密度分析，通過誤差值的反向傳播，達到有效減少模型與實際數據的差距的目的，進而更好的優化模型。其中l具體為：