[發明專利]一種結合卷積網絡和鄰域相似性的人像背景自動替換方法

有效

• 申請號: 201911086344.8
• 申請日: 2019-11-08
• 公開（公告）號: CN110956681B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 鄭河榮;周善業
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06T7/11;G06T7/194
• 代理公司: 杭州之江專利事務所(普通合伙) 33216
• 代理人: 張慧英

1.一種結合卷積網絡和鄰域相似性的人像背景自動替換方法，其特征在于，包括如下步驟：

(1)初始訓練數據采集及標注；

(1.1)利用相機拍攝純色背景的人像圖片，以及沒有人像的背景圖片；

(1.2)將人像圖片中的人像和背景圖片中的背景進行融合，得到合成圖片；

(1.3)對合成圖片進行預處理，并進行人工標注，與原圖組成圖像對的作為初始訓練集；選取部分圖像作為訓練集，余下的作為測試集；

(2)全卷積神經網絡學習模型的構建及訓練，并采用訓練好的網絡模型對測試圖像進行預測，輸出圖像中的人像區域以及背景區域；

(3)圖像透明度計算以及背景替換；

(3.1)對步驟(2)預測的圖像邊界進行形態學膨脹與腐蝕，得到三分圖；

(3.2)結合原圖和三分圖中的前景和背景區域進行邊界采樣和全局隨機采樣，得到候選的前景背景樣本集；

(3.3)建立二維搜索空間，再采用隨機搜索的方法對每個未知像素進行最優樣本對的選擇,確認合適的樣本對；具體如下：

(i)建立二維搜索空間，對于給定的前景樣本集{(Fⁱ)|i＝0,1,2...N_F-1}和背景樣本集{(B^j)|j＝0，1，2...N_B-1},采用顏色強度對兩個集合進行排序,再將這兩個集合組成一個二維搜索空間，坐標系里的每個點(i,j)都代表一個樣本對(Fⁱ,B^j)；

(ii)在該空間內隨機一個點作為初始點，通過迭代的方法找到合適的點(F_i,B_j)，迭代次數為10次，損失函數為

ε(Fⁱ,B^j)＝ε_c(Fⁱ,B^j)+ε_s(Fⁱ)+ε_s(B^j)

其中ε_c表示的是真實像素I和估計像素的顏色距離，ε_s表示的是未知像素I到樣本對(Fⁱ,B^j)的歐拉距離，X_I,表示未知像素、前景像素、背景像素的空間坐標；D_F,D_B表示未知像素到前景樣本集和背景樣本集的最短距離；

其中，迭代的方法步驟如下：對于每一個樣本點,我們按公式更新當前樣本點；其中ε是上文中的損失函數,φ(x',y')是二維搜索空間相鄰的點,即(Fⁱ,B^j).通過比較搜索空間內相鄰的點,找到更好的樣本對；按照公式制定新的規則,在全局范圍內產生一個搜索序列然后在這個序列里面，通過公式找到最優樣本對作為當前樣本對；其中ω_F,ω_B分別表示前景樣本集和背景樣本集的大小,β＝0.5,ωβ^k是第k次的搜索步長；R_k＝[-1,1]里面的隨機數,表示搜索的方向.通過比較搜索空間內其它位置的點,找到更合適的樣本對；

(3.4)通過公式計算得到每個像素的透明度；

(3.5)將透明度圖像、待合成的背景圖像和預測的人像圖像進行合成，達到背景替換的效果。

2.根據權利要求1所述的一種結合卷積網絡和鄰域相似性的人像背景自動替換方法，其特征在于：所述步驟(1.3)對合成圖片進行預處理為通過邊緣算法對邊界點鄰域進行線性插計算，拓展為寬高比例358：441的圖像。