[發明專利]一種基于限制性預測濾波的圖像散景渲染方法及系統

在審

• 申請號: 202110672308.0
• 申請日: 2021-06-17
• 公開（公告）號: CN113538338A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 陳泉;鄭博侖;顏成鋼;孫垚棋;張繼勇;李宗鵬
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于限制性預測濾波的圖像散景渲染方法，其特征在于，步驟如下:

步驟1：準備數據集并對數據進行預處理；

步驟2：構建基于限制性預測濾波的圖像散景渲染網絡；

首先建立基本的圖像散景渲染任務的理論模型，將圖像散景渲染任務分成兩個子任務，一個子任務是對輸入圖片進行顯著部分內容保留，另一個子任務是對輸入圖片進行自適應的散景模糊處理；

所述的基于限制性預測濾波的圖像散景渲染網絡包括限制性預測濾波模塊和顯著性檢測模塊，其中顯著性檢測模塊用于檢測輸入全聚焦圖片中的顯著性特征，用于輔助后續限制性預測濾波模塊F的工作，而限制性預測濾波模塊用于保留顯著性檢測模塊檢測到的顯著性特征，并對輸入圖片的其他部分進行限制性濾波操作，模糊圖片內容從而產生散景渲染效果；

步驟3：通過數據集訓練圖像散景渲染網絡模型：

步驟4：經過訓練的神經網絡模型接收需要進行散景渲染處理的圖片，完成散景渲染處理后將圖片輸出。

2.根據權利要求1所述的一種基于限制性預測濾波的圖像散景渲染方法，其特征在于，步驟1具體步驟如下；

步驟1.1：建立網絡訓練需要的數據集，數據集包括不同場景下拍攝的圖像數據，所述的圖像數據包括成對圖片，分別為原始全聚焦圖片和帶有散景渲染效果的圖片；其中數據集中的全聚焦圖片I_org作為模型訓練過程中的輸入數據，數據集中的具有真實散景渲染效果的圖片I_gt作為模型訓練過程中的用于與模型輸出圖片進行對比的對比數據；

步驟1.2：對數據集的所有圖片利用雙三次插值方法縮放到1024×1536的尺寸，減少訓練網絡所需要的成本。

3.根據權利要求2所述的一種基于限制性預測濾波的圖像散景渲染方法，其特征在于，步驟2具體方法如下；

步驟2.1：建立基本的圖像散景渲染任務的理論模型；全聚焦圖片I_org和真實散景渲染效果的圖片I_gt具有相同的清晰的顯著部分I_focus；全聚焦圖片除去清晰的顯著部分后剩余的部分I_defocus需要進行散景渲染處理；所以，將圖像散景渲染任務分成兩個子任務，一個子任務是對輸入圖片進行顯著部分內容保留，另一個子任務是對輸入圖片進行自適應的散景模糊處理；圖像圖像散景渲染任務的理論模型公式表示如下：

其中ψ表示針對全聚焦圖片I_org的顯著性內容檢測函數；表示對圖片進行模糊處理的模糊函數；

步驟2.2：針對圖像散景渲染任務，推導基于限制性預測濾波的圖像散景渲染模型；構建限制性預測濾波模塊F，所述的限制性預測濾波模塊包括限制性預測濾波器生成模塊F_G和自適應濾波模塊F_V；

限制性預測濾波器生成模塊F_G用于生成一個對輸入圖片X的每個像素均具有特定濾波核參數的濾波器f，即：

f_θ(i，j)＝F_G(X(i，j))

其中θ(i，j)表示對應于輸入圖片X的(i，j)像素的濾波核參數，而k表示濾波核的尺寸；

自適應濾波模塊F_V使用由限制性預測濾波器生成模塊F_G生成的濾波器f對輸入圖片X進行自適應濾波操作；在限制性預測濾波器生成模塊F_G中，生成的濾波器f的濾波核參數θ利用Softmax函數進行限制，從而濾波器f的濾波核參數被限制為三種類型：用于鄰域模糊的濾波核K_B，用于像素平移的濾波核K_D以及用于像素保留的濾波核K_R；其中用于鄰域模糊的濾波核K_B的參數總和為1，且每個元素值均屬于0到1之間；用于像素平移的濾波核K_D的參數只有一個非中心元素的值為1，其他元素值均為0；用于像素保留的濾波核K_R的參數只有中心元素的值為1，其他元素值均為0；因此，在限制性預測濾波模塊F的作用下，基于限制性預測濾波的圖像散景渲染任務的模型可以用公式表示為：

I_bokeh(i，j)＝F_V(I_org(i，j)，f_θ(i，j))

其中，I_org表示全聚焦圖片，f表示由限制性預測濾波器生成模塊F_G生成的濾波器，θ(i，j)表示特定于輸入圖片I_org的第(i，j)個像素生成的濾波核參數，其屬于三種核參數K_R，K_B，K_D類型中的一種，I_bokeh表示基于限制性預測濾波算法得到的具有散景渲染效果的輸出圖片；

與步驟2.1中的圖像散景渲染任務的理論模型對比看出，本發明提出的基于限制性預測濾波的圖像散景渲染模型將圖像散景渲染任務的理論模型中提出的兩個子任務(子任務一是對輸入圖片進行顯著部分內容保留，子任務二是對輸入圖片進行自適應的散景模糊處理)用統一的限制性預測濾波模塊F完成；

步驟2.3：構建顯著性檢測模塊；從理論上來講，本發明只需要使用限制性預測濾波模塊F就可以完成對單張輸入圖像的散景渲染處理；但是為了獲得更加精準的自適應濾波效果，保證輸入圖片的顯著部分不被模糊，構建顯著性檢測模塊G，用于檢測輸入全聚焦圖片I_org中的顯著性特征，輔助限制性預測濾波模塊F從而實現精準的自適應濾波；

步驟2.4：構建基于限制性預測濾波的圖像散景渲染網絡，并通過數據集進行訓練；

所述的圖像散景渲染網絡模型包括顯著性檢測模塊G和限制性預測濾波模塊F；其中顯著性檢測模塊G用于檢測輸入全聚焦圖片I_org中的顯著性特征，用于輔助后續限制性預測濾波模塊F的工作，而限制性預測濾波模塊F用于保留顯著性檢測模塊G檢測到的顯著性特征，并對輸入圖片I_org的其他部分進行限制性濾波操作，模糊圖片內容從而產生散景渲染效果。