[發明專利]一種結合卷積網絡和鄰域相似性的人像背景自動替換方法

有效

• 申請號: 201911086344.8
• 申請日: 2019-11-08
• 公開（公告）號: CN110956681B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 鄭河榮;周善業
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06T7/11;G06T7/194
• 代理公司: 杭州之江專利事務所(普通合伙) 33216
• 代理人: 張慧英

本發明涉及一種結合卷積網絡和鄰域相似性的人像背景自動替換方法，本發明首先采用卷積網絡進行目標對象分割，得到人臉前景的初始輪廓。然后針對分割后的人像邊界不光滑問題，采用隨機全局采樣，擴大采樣范圍，增加相鄰像素的相似性約束，提高透明度的連續性。該發明通過卷積網絡實現人類圖像分割，提高了復雜背景的人臉背景替換準確率。此外，發明采用鄰域顏色相似性約束，使人像邊界更平滑，提高了人臉背景替換的輪廓質量。解決了現有人像背景替換技術存在分割不準確、分割邊界不平滑的問題。

技術領域

本發明涉及計算機視覺的深度學習及機器視覺領域，尤其涉及一種結合卷積網絡和鄰域相似性的人像背景自動替換方法。

背景技術

隨著社會的發展，人們辦理證件的數量在不斷增加，有些證件對照片的背景有嚴格限制。比如，在公安局拍攝身份證照片要求背景透明；辦理簽證是要求簽證照片是白色背景；辦理養老金申請表格要求證件照紅色背景等。人像背景替換技術就是在一副圖片中提取人像區域，將背景區域替換為指定顏色。該技術首先利用圖像分割技術獲得人像區域和背景區域的掩碼圖像，然后通過圖像合成技術更新背景區域的顏色。

對于人像自動背景替換問題，一類是根據顏色進行背景分離操作。例如CN108683865A先采用綠幕摳圖算法對原始圖片進行處理；再使用陰影分離算法得到前景圖像的運動物體；最后使用圖像合成算法，將前景和預設背景融合，得到最終的圖像。通過這種方法，可以提取更準確的前景圖像，并將分離的前景合成更豐富的背景中，提高了子彈時間的酷炫特效，增強了用戶體驗。CN105678724A先基于圖像當前幀的RGB分量，計算出綠色差值，并基于綠色差值得到最初的阿爾法圖像；再利用所述綠色差值對初始阿爾法通道圖像進行柔化處理，得到第一阿爾法通道圖像；然后基于環境光因子對所述阿爾法通道圖像進行柔化處理，得到最終阿爾法通道圖像；最后對阿爾法通道圖像、待合成的背景圖像和經處理的前景圖像進行合成。該發明對現有的基于綠幕摳圖的方案進行改進，增加了柔化和去環境光處理，從而使圖像更加柔化、自然。CN109819182A先獲取當前圖像確定主色；再對圖像顏色和圖像邊沿主色進行量化統計，得到圖像背景的顏色值和背景主色；通過計算得到一層透明度、二層透明度、綜合透明度；最后將指定的背景圖像和綜合透明度采用公式進行背景替換，得到最終的圖像。該方法根據視頻的場景特征進行了背景顏色確認過程，提高了獲取的背景顏色的準確性。

另外一類是更為一般化的自動背景替換算法。這類算法不考慮背景顏色，通過圖像分割自動分離出人像前景和背景。例如CN109344724A先獲取原始人臉圖像,提取人臉關鍵點；再根據關鍵點,提取進行人臉位置矯正；對矯正后的圖像進行分解,將矯正圖像分解為背景區域,前景區域以及不確定區域；最后對背景區域進行背景替換。該方法能夠解決目前無法對采集的照片進行自動處理,減少人工操作,提高照片處理的效率。CN109377445A基于預設的訓練樣本集中的樣本組確定當前的訓練數據；將訓練數據輸入初始網絡模型，輸出初始特征圖；對初始特征圖進行融合處理，得到最終特征圖；根據最終特征圖確定當前合成圖像；獲取當前合成圖像和預設的標準合成圖像之間的匹配損失函數值；繼續向初始網絡模型輸入下一組訓練數據進行訓練，直至匹配損失函數值收斂，結束訓練，得到目標模型。該方法將目標圖像和替換圖像輸入至訓練好的目標模型中，即可得到替換背景后的合成圖像，操作過程簡單且輸出的合成圖像效果準確穩定。但是由于人像照片會出現頭發等精細結構，僅僅使用分割算法會出現邊界區域粗糙，后續背景替換后會導致邊界出現鋸齒形的輪廓。

發明內容

本發明為克服上述的不足之處，目的在于提供一種結合卷積網絡和鄰域相似性的人像背景自動替換方法，本發明首先采用卷積網絡進行目標對象分割，得到人臉前景的初始輪廓。然后針對分割后的人像邊界不光滑問題，采用隨機全局采樣，擴大采樣范圍，增加相鄰像素的相似性約束，提高透明度的連續性。該發明通過卷積網絡實現人類圖像分割，提高了復雜背景的人臉背景替換準確率。此外，發明采用鄰域顏色相似性約束，使人像邊界更平滑，提高了人臉背景替換的輪廓質量。解決了現有人像背景替換技術存在分割不準確、分割邊界不平滑的問題。