[發明專利]一種基于全自動人臉無縫合成的視頻合成方法

有效

• 申請號: 201310495514.4
• 申請日: 2013-10-21
• 公開（公告）號: CN103607554B
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 黃飛;侯立民;田澤康;謝建;彭莎;張琦
• 申請（專利權）人: 易視騰科技股份有限公司
• 主分類號: H04N7/14
• 分類號: H04N7/14;H04N21/4788;G06K9/00
• 代理公司: 北京聯創佳為專利事務所(普通合伙)11362
• 代理人: 郭防

技術領域

本發明涉及以智能電視為終端的高清視頻通信領域，特別涉及基于全自動人臉無縫合成的視頻合成方法。

背景技術

在計算機模式識別與人工智能領域，人臉檢測及合成技術已經廣泛應用于人機界面、視頻會議、視頻監控、內容檢索等方面。大多數人臉檢測方法通過大量的樣本訓練，在統計意義上表現得更為可靠，擴充了檢測范圍，提高了檢測系統的魯棒性，但其檢測耗時，實時性比較差。盡管現有技術中提出了多種分類器算法，但仍存在人臉特征過多，在全圖范圍內搜索人臉耗時過長等問題，并且當視頻任一幀結果出錯后會引起后續幀的跟蹤結果連續出錯，導致結果不穩定。

發明內容

本發明提出一種基于全自動人臉無縫合成的視頻合成方法，解決了現有技術中人臉檢測算法在高清視頻處理中實時性不足以及在不同狀態下五官的配準和膚色的合成的問題。

本發明的技術方案是這樣實現的：

一種基于全自動人臉無縫合成的視頻合成方法，包括如下步驟：

S1：使用智能電視終端提供的視頻通信應用進行視頻連接；

S2：使用本地或者云服務器端的圖像或視頻文件作為待合成的背景BG；

S3：使用人臉檢測算法分別對攝像頭采集的數據前景FG和背景BG數據進行人臉檢測，通過人臉內部關鍵點定位，通過人臉輪廓線或人臉最小外接矩形框計算幾何變換系數；

S4：進行前景FG到背景BG的精確配準，完成前景FG對背景BG的人臉區域數據合成。

優選的，步驟S4中人臉區域數據合成的方法，包括以下步驟：

（1）使用分區域線性映射,制作膚色映射掩膜maskSkin；

（2）使用均值濾波，制作邊界合成掩膜maskBounder；

（3）使用合成公式完成前景FG對背景BG的人臉區域數據合成。

優選的，合成公式為I=αF+(1-α)B，F為前景視頻圖像，B為本地背景視頻，α為透明度值，α∈[0,1]。

優選的，步驟S3中使用人臉檢測算法提取人臉的最小外接矩形框方法，包括以下步驟：

（1）當前景當前幀檢測到人臉時，使用幀差法判斷是否為漏檢，若是，則對當前幀的人臉位置進行預測，否則結束算法；

（2）當背景當前幀未檢測到人臉時，使用幀差法判斷是否為漏檢，若是，則對當前幀的人臉位置進行預測，否則使用默認設置作為待替換區域。

優選的，步驟S3中對檢測到的人臉區域，使用軌跡平滑方法，對人臉區域做亞像素級精度校正。

優選的，軌跡平滑方法包括以下步驟：

（1）用緩沖區按照時間順序存放同名關鍵點p0，p1，p2…，以當前p0點為中心，依次計算當前點歷史點的距離d；

（2）如果求得某個點的距離d大于閾值T，記錄下當前點的索引n，然后求當前點到索引n點中間所有點的平均值p，作為平滑矯正后的結果。

優選的，步驟S3中使用人臉輪廓線求取幾何變換系數方法，包括以下步驟：

（1）使用rectangleFG和rectangleBG的尺寸關系，得到幾何變換的縮放系數；

（2）使用關鍵點left_eye,right_eye,mouth的位置關系，得到幾何變換的旋轉和平移系數。

優選的，步驟（1）制作膚色映射掩膜maskSkin方法，包括以下步驟：

（1）求出前景FG與背景BG在Lab空間中各通道的均值與方差；

（2）采用y=ax+b的方式將前景膚色映射為背景膚色，其中y為映射后的像素，a為乘性系數，x為前景FG當前像素與前景FG的均值的差，b為背景BG的均值。

優選的，步驟（2）制作邊界合成掩膜maskBounder的方法，包括以下步驟：

（1）使用摳圖算法分割出BG中人臉輪廓線，使輪廓線內數據為1，輪廓線外數據為0；

（2）在R寬范圍進行[0,1]的均值濾波，得到邊界而換成掩膜maskBounder。

優選的，步驟S4中進行前景FG到背景BG的精確配準的方法為基于灰度信息或基于特征的配準算法。