[發明專利]一種人像背景虛化方法和裝置

在審

• 申請號: 202110781641.5
• 申請日: 2021-07-09
• 公開（公告）號: CN113538270A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 張曉帥
• 申請（專利權）人: 廈門億聯網絡技術股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;顏希文

本發明涉及圖像處理技術領域，公開了一種背景虛化方法和裝置，方法包括：獲取當前視頻幀并獲取上一視頻幀的先驗掩膜；將獲取到的所述當前視頻幀和所述先驗掩膜輸入到預先設置的人像分割神經網絡模型中，并通過人像分割神經網絡輸出當前視頻幀的輸出人像掩膜；通過先驗掩膜預估當前視頻幀中的人像位置和人像輪廓；獲取所述當前視頻幀的模糊圖像并將所述模糊圖像和所述輸出人像掩膜進行疊加得到當前視頻幀的虛化背景圖像。有益效果為：根據先驗掩膜估計當前視頻幀中的人像位置和人像輪廓從而生成輸出人像掩膜，可以保持當前視頻幀和上一視頻幀生成的背景虛化圖像的連貫性，克服視頻人像分割抖動的技術問題。

技術領域

本發明涉及圖像處理技術領域，特別是涉及一種背景虛化方法和裝置。

背景技術

目前，在進行視頻通話時，用戶身后的背景可能有會敏感信息，因此，對背景進行實時的模糊處理對一些注重隱私的用戶來說是非常必要的?，F有技術中，采用人工智能算法來識別前景中的通話者，并模糊掉除了通話者之外的背景，保護參會人員的隱私需求，在視頻會議中避免干擾和意外的中斷，改善視頻會議用戶的使用體驗。

申請人在先提出的相關技術方案包括：一種實時視頻人像分割的系統、方法、存儲介質和設備(公開號：CN111462133A)和一種實時人像背景虛化的系統、方法、存儲介質和設備(公開號：CN111524060A)，其中描述了人像分割的神經網絡模型方案和背景虛化流程，在現有技術中，顯著人像分割卷積神經網絡采用了經典的Encode－Decode(編碼器－解碼器)架構，在這個架構中，編碼器使用卷積層或池化層將特征圖尺寸縮小，使其成為更低維的表征，解碼器接收到這一表征，通過插值層執行上采樣而恢復空間維度。當圖像分割用在了視頻流處理上時，分割結果在視頻前后幾幀圖像中稍有不連續，就會造成幀間分割邊緣不停地抖動，這種抖動極大的破壞了用戶體驗。

為了解決上述的視頻人像分割抖動的問題，本發明提出了一種改進的人像背景虛化方法和裝置。

發明內容

本發明的目的是：本發明提出了一種改進的人像背景虛化方法和裝置，解決視頻人像分割抖動的問題。

為了實現上述目的，本發明提供了一種本發明提供了一種人像背景虛化方法，包括：

獲取當前視頻幀并獲取上一視頻幀的先驗掩膜。

將獲取到的所述當前視頻幀和所述先驗掩膜輸入到預先設置的人像分割神經網絡模型中，并通過人像分割神經網絡輸出當前視頻幀的輸出人像掩膜；其中，人像分割神經網絡模型通過先驗掩膜預估當前視頻幀中的人像位置和人像輪廓，并根據預估當前視頻中的人像位置和人像輪廓生成輸出人像掩膜。

獲取所述當前視頻幀的模糊圖像并將所述模糊圖像和所述輸出人像掩膜進行疊加得到當前視頻幀的虛化背景圖像。

進一步的，所述獲取當前視頻幀并獲取上一視頻幀的先驗掩膜，具體為：

從視頻中獲取當前視頻幀，并判斷當前視頻幀是否為第一幀。

若當前視頻幀為第一幀，則上一視頻幀的先驗掩膜為全零矩陣。

若當前視頻幀不為第一幀，則獲取上一視頻幀的先驗掩膜，所述上一視頻幀的先驗掩膜為上一視頻幀的輸出人像掩膜。

進一步的，在獲取當前視頻幀并獲取上一視頻幀的先驗掩膜之前，所述方法還包括：

獲取視頻，并對視頻進行預處理，具體為：

獲取視頻，判斷系統負荷是否大于第一閾值，

若系統負荷大于第一閾值，則通過跳幀或抽幀降低輸入到人像分割神經網絡模型的幀數。

進一步的，在獲取當前視頻幀并獲取上一視頻幀的先驗掩膜之前，所述方法還包括：

獲取當前視頻幀和上一視頻幀，判斷當前視頻幀是否為上一視頻幀的相對靜止幀，