[發明專利]一種基于全自動人臉無縫合成的視頻合成方法

有效

• 申請號: 201310495514.4
• 申請日: 2013-10-21
• 公開（公告）號: CN103607554B
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 黃飛;侯立民;田澤康;謝建;彭莎;張琦
• 申請（專利權）人: 易視騰科技股份有限公司
• 主分類號: H04N7/14
• 分類號: H04N7/14;H04N21/4788;G06K9/00
• 代理公司: 北京聯創佳為專利事務所(普通合伙)11362
• 代理人: 郭防

1.一種基于全自動人臉無縫合成的視頻合成方法，其特征在于，包括如下步驟：

S1：使用智能電視終端提供的視頻通信應用進行視頻連接；

S2：使用本地或者云服務器端的圖像或視頻文件作為待合成的背景BG；

S3：使用人臉檢測算法分別對攝像頭采集的數據前景FG和背景BG數據進行人臉檢測，通過人臉內部關鍵點進行定位，通過人臉最小外接矩形框計算幾何變換系數；其中，對檢測到的人臉區域，使用軌跡平滑方法，對人臉區域做亞像素級精度校正，具體包括：

(1)用緩沖區按照時間順序存放同名關鍵點p0，p1，p2…，以當前p0點為中心，依次計算當前點歷史點的距離d；

(2)如果求得某個點的距離d大于閾值T，記錄下當前點的索引n，然后求當前點到索引n點中間所有點的平均值p，作為平滑矯正后的結果；

S4：根據所述幾何變換系數進行前景FG到背景BG的精確配準，完成前景FG對背景BG的人臉區域數據合成；

其中，所述幾何變換系數包括縮放系數、旋轉和平移系數，使用rectangleFG和rectangleBG的尺寸關系，得到幾何變換的縮放系數，使用關鍵點left_eye,right_eye,mouth的位置關系，得到幾何變換的旋轉和平移系數。

2.根據權利要求1所述的一種基于全自動人臉無縫合成的視頻合成方法，其特征在于，所述步驟S4中人臉區域數據合成的方法，包括以下步驟：

(1)使用分區域線性映射,制作膚色映射掩膜maskSkin；

(2)使用均值濾波，制作邊界合成掩膜maskBounder；

(3)使用合成公式完成前景FG對背景BG的人臉區域數據合成。

3.根據權利要求2所述的一種基于全自動人臉無縫合成的視頻合成方法，其特征在于，所述合成公式為I＝αF+(1-α)B，F為前景視頻圖像，B為本地背景視頻，α為透明度值，α∈[0,1]。

4.根據權利要求1所述的一種基于全自動人臉無縫合成的視頻合成方法，其特征在于，所述步驟S3中使用人臉檢測算法提取人臉的最小外接矩形框方法，包括以下步驟：

(1)當前景當前幀檢測到人臉時，使用幀差法判斷是否為漏檢，若是，則對當前幀的人臉位置進行預測，否則結束算法；

(2)當背景當前幀未檢測到人臉時，使用幀差法判斷是否為漏檢，若是，則對當前幀的人臉位置進行預測，否則使用默認設置作為待替換區域。

5.根據權利要求2所述的一種基于全自動人臉無縫合成的視頻合成方法，其特征在于，所述步驟(1)制作膚色映射掩膜maskSkin方法，包括以下步驟：

(1)求出前景FG與背景BG在Lab空間中各通道的均值與方差；

(2)采用y＝ax+b的方式將前景膚色映射為背景膚色，其中y為映射后的像素，a為乘性系數，x為前景FG當前像素與前景FG的均值的差，b為背景BG的均值。

6.根據權利要求2所述的一種基于全自動人臉無縫合成的視頻合成方法，其特征在于，所述步驟(2)制作邊界合成掩膜maskBounder的方法，包括以下步驟：

(1)使用摳圖算法分割出BG中人臉輪廓線，使輪廓線內數據為1，輪廓線外數據為0；

(2)在R寬范圍進行[0,1]的均值濾波，得到邊界而換成掩膜maskBounder。

7.根據權利要求1所述的一種基于全自動人臉無縫合成的視頻合成方法，其特征在于，所述步驟S4中進行前景FG到背景BG的精確配準的方法為基于灰度信息或基于特征的配準算法。