[發明專利]一種人體口型視頻重構系統與重構方法

有效

• 申請號: 201310745441.X
• 申請日: 2013-12-27
• 公開（公告）號: CN103745462B
• 公開（公告）日: 2016-11-02
• 發明（設計）人: 孟濬;黃吉羊;劉瓊
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 劉曉春

技術領域

本發明涉及視頻圖像處理領域，具體涉及一種基于環形彈性空間動力學時間演化的人體口型視頻重構系統及重構方法。?

背景技術

隨著計算機技術的發展和日趨完善，人臉的造型和動畫作為計算機圖形學中的一個獨特分支也越來越受到人們的關注，其中針對視頻、圖像中人體口型的變化更是有廣泛的應用。許多場合需要將現有的視頻或圖像中的人的口型進行重構，即由一張靜止的圖像生成一系列口型動作，或對現有視頻里的口型進行修正。為了達到這樣的目的，現有的技術方法一般都是通過對已有的大量視頻圖像信息加以分析處理，建立口型數據庫，再針對具體問題進行從所述的口型數據庫中調用相關的信息。這樣的技術手段雖然能夠較為準確地對視頻、圖像中的人體口型進行變換，但是它的局限性也是明顯的。一方面，它的實現依賴于事先構建好的龐大的口型數據庫，需要規模巨大的數據樣本，可移植性較差；另一方面，算法的實現涉及大量的計算分析，復雜度很高，也限制了它的應用范圍。?

發明內容

針對現有技術的不足，本發明所要解決的技術問題是提供一種精度高、可移植性好的人體口型視頻重構方法和系統，以根據所需要的口型實現目標對象單幀圖像向視頻的演化，或實現目標對象多幀圖像組成的視頻的修改和反演。傳統的口型變換技術依賴于龐大的口型數據庫，該口型數據庫中包含了語音庫以及與之對應的口型圖像，以便于在變換中加以調用，一方面占用了大量的空間；另一方面由于該口型數據庫本身不能自主構建出新的口型，實際運用中無法處理數據庫中未包含口型的變換問題。本發明系統區別于傳統的口型變換系統，不需要這樣的口型數據庫，即可快速、準確地完成人體口型的視頻重構。?

本發明采用的技術方案如下：?

一種人體口型視頻重構方法，具體包括以下四個步驟：

(1)???信息讀入：從輸入口讀入人體信息和口型信息，所述的人體信息選自目標對象的單幀圖像或多幀圖像組成的視頻，所述的口型信息選自文字、聲音、圖像、視頻的任意一種或任意多種；

(2)???預處理：對輸入口讀入的口型信息進行識別轉換并將識別轉換后的口型信息在顯示模塊實時顯示，并對輸入口讀入的人體信息進行分析并鎖定口部的位置；

(3)???口型重構：基于環形彈性空間動力學的時間演化法，根據預處理后的口型信息和人體信息進行人體口型視頻重構；?

(4)???視頻輸出：在輸出口輸出重構完成后的人體口型視頻。

本發明技術方案的流程圖如圖1所示。?

所述的步驟(3)中，所述口型重構的方法是基于環形彈性空間動力學時間演化。所述的環形彈性空間是一種定義了點的順序和距離的平面空間，?其具有以下4條性質：?

1、環形彈性空間里的任意兩點P₁和P₂-，其間距離可變。

2、環形彈性空間里的任意兩點P₁和P₂-，其順序嚴格不變，即：選取環形彈性空間里異于P₁、P₂的任一點P₃，這三點順時針（或逆時針）的順序在任意變換中都不會發生變化。?

3、環形彈性空間里的任意一點P可以受與水平軸夾角為α、大小為f的力F的作用，并因此產生位置上的變化，表現為相對原始位置沿與水平軸夾角為α的方向產生一定的位移。?

4、當環形彈性空間里的任意一點P受到一個力F的作用時，該力F在影響P的同時也會影響到環形彈性空間中其他的點，使其等同于受到一個與水平軸夾角為α^′、大小為f^‘的力的作用，稱作關聯作用。該點相對于P的空間位置決定了α^′的大小，該點和P的距離決定了f^′的大小，當該點和P的距離大于的影響范圍R時，認為其不受力F的關聯作用影響。?

環形彈性空間示意圖如圖2所示。?