[發明專利]一種漸變動畫的生成方法及計算設備

有效

• 申請號: 201710618141.3
• 申請日: 2017-07-26
• 公開（公告）號: CN107341841B
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 呂仰銘;李志陽;李啟東;吳善思源;許清泉
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T7/529
• 代理公司: 北京思睿峰知識產權代理有限公司 11396
• 代理人: 謝建云;趙愛軍

本發明公開了一種漸變動畫的生成方法及執行該方法的計算設備，包括步驟：按第一計算方式計算第一/第二人臉圖像的投影矩陣和全圖三維模型；根據投影矩陣和全圖三維模型以第二計算方式分別計算第一/第二紋理坐標；對于每個待插入的中間幀：根據第一/第二投影矩陣和待插入中間幀的位置計算其投影矩陣；根據第一/第二全圖三維模型和待插入中間幀的位置計算其全圖三維模型；根據待插入中間幀的投影矩陣和全圖三維模型以第二計算方式計算其紋理坐標；根據待插入中間幀的紋理坐標與第一/第二紋理坐標分別生成其第一/第二圖像分量；結合第一/第二圖像分量生成中間幀圖像；由第一/第二人臉圖像和生成的中間幀圖像生成漸變動畫。

技術領域

本發明涉及圖像處理技術領域，尤其是一種漸變動畫的生成方法及計算設備。

背景技術

由多幅包含人臉的圖像(簡稱為“人臉圖像”)生成漸變動畫的方法目前有著廣泛的應用。例如在相冊中，通過用戶輸入一些本人或好友的照片，將這些照片當做關鍵幀，并在照片中間插值多幀圖像實現動畫效果，由于插入的中間幀的過渡，這種照片的播放效果要比PPT式的播放生動有趣。

人臉漸變的普遍方法是在實現圖像變形的基礎上，先分別對兩幅圖像進行兩個方向的變形，再對兩幅變形圖像進行圖像灰度融合，產生一系列的中間圖像，從而實現圖像的平滑漸變。然而遺憾的是，任意兩張包含人臉的圖像，其臉型、表情、姿態可能都是不同的，且人臉與背景部分(如，肩、脖子、場景等)的對應關系也有可能是不同的，比如一張包含左側臉的圖像和一張包含右側臉的圖像之間的過渡，通過插入中間幀圖像期望得到一個漸漸地從左到右變化且清晰的人臉。

因此，要如何實現任意兩張人臉圖像的中間過渡融合，保證插值出的中間幀圖像也會是一個相對清晰的人臉，是需要解決的一個重要問題。

發明內容

為此，本發明提供了一種漸變動畫的生成方法及計算設備，以力圖解決或者至少緩解上面存在的至少一個問題。

根據本發明的一個方面，提供了一種漸變動畫的生成方法，該方法適于在包含人臉的第一人臉圖像和第二人臉圖像的中間插入至少一個中間幀圖像，以生成人臉漸變動畫，包括步驟：按第一計算方式計算第一人臉圖像的第一投影矩陣和第一全圖三維模型；根據第一投影矩陣和第一全圖三維模型以第二計算方式計算第一人臉圖像的第一紋理坐標；對第二人臉圖像依次執行第一計算方式和第二計算方式的計算步驟，得到第二人臉圖像的第二投影矩陣、第二全圖三維模型和第二紋理坐標；對于每個待插入的中間幀：根據第一投影矩陣、第二投影矩陣和待插入中間幀的位置計算待插入中間幀的投影矩陣；根據第一全圖三維模型、第二全圖三維模型和待插入中間幀的位置計算待插入中間幀的全圖三維模型；根據待插入中間幀的投影矩陣和全圖三維模型以第二計算方式計算該待插入中間幀的紋理坐標；根據待插入中間幀的紋理坐標與第一紋理坐標、第二紋理坐標分別生成該待插入中間幀的第一圖像分量和第二圖像分量；結合第一圖像分量和第二圖像分量生成中間幀圖像；以及由第一人臉圖像、第二人臉圖像和生成的中間幀圖像生成漸變動畫。

可選地，在根據本發明的生成漸變動畫的方法中，按第一計算方式計算人臉圖像的投影矩陣的步驟包括：提取人臉圖像中的人臉特征點；通過所提取的人臉特征點擬合得到人臉三維模型及該人臉三維模型對應的投影矩陣。

可選地，在根據本發明的生成漸變動畫的方法中，按第一計算方式計算人臉圖像的全圖三維模型的步驟包括：根據人臉三維模型的深度差計算該人臉圖像中非人臉區域的深度，得到全圖三維模型。

可選地，在根據本發明的生成漸變動畫的方法中，在提取人臉圖像中的人臉特征點的步驟之前，還包括步驟：根據檢測到的人臉區域對人臉圖像進行裁剪和/或縮放處理。

可選地，在根據本發明的生成漸變動畫的方法中，通過所提取的人臉特征點擬合得到人臉三維模型和投影矩陣的步驟包括：利用三維形變模型3DMM根據人臉圖像的人臉特征點生成人臉圖像的人臉三維模型和該人臉三維模型對應的投影矩陣。