[發明專利]實時動態嘴唇跟蹤方法

無效

• 申請號: 201010571128.5
• 申請日: 2010-12-03
• 公開（公告）號: CN102013103A
• 公開（公告）日: 2011-04-13
• 發明（設計）人: 王士林;李建華;劉功申;李翔;李生紅
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06K9/62
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王錫麟;王桂忠

技術領域

本發明涉及的是一種圖像處理和模式識別技術領域的方法，特別是一種實時動態嘴唇跟蹤方法。

背景技術

近年來，自動化語音識別技術(Automatic?speech?recognition，ASR)取得了長足的進步，并形成了一系列較為成熟的產品，能夠在信噪比較高的環境下得到較好的識別效果。然而，這些系統的性能往往受制于背景噪聲的程度，在重噪聲環境下，如車內、工廠、機場等等，這些系統所取得的效果常常不能令人滿意。于是，越來越多的學者從音頻以外的信源尋求提高語音識別效果的方法。McGurk效應(the?McGurk?effect)揭示了說話人講述過程中聲/視覺信息之間存在著密不可分的內在聯系。因此，人們想到通過引入嘴唇運動這一視覺信息，輔助完成對于講述內容的理解，該類語音識別系統稱為自動化唇讀系統。在上述系統中，首要并且最為關鍵的一個步驟是準確、快速地從視頻中獲取嘴唇運動變化情況，即實時嘴唇跟蹤方法。其準確性和可靠性往往直接決定了一個唇讀系統的性能優劣。

經過對現有技術文獻的檢索發現，A.Caplier在第11屆國際圖像分析和處理大會(Proceedings?of?11th?International?Conference?on?Image?Analysis?and?Processing，page?8-13)上發表的“嘴唇區域檢測和跟蹤”(Lip?detection?and?tracking)，該文采用亮度邊緣強度為檢測嘴唇輪廓的標準，通過迭代的方法將嘴唇邊緣收斂至最強邊緣處。同時在合理嘴唇模型的限定下，保證了最終得到嘴唇模型的合理性。該技術的不足在于：第一，這是一種針對灰度(亮度)圖像的嘴唇跟蹤技術，由于缺乏色度信息，受光照情況影響較大；第二，該技術是依據嘴唇圖像的亮度邊緣，而邊緣信息取決于圖像的對比度，并且未化妝的嘴唇圖像往往是低對比度的，造成邊緣信息的不穩定?；谝陨蟽牲c，該技術的準確性和魯棒性都有待提高。

發明內容

本發明的目的在于克服現有技術的不足，提出一種實時動態嘴唇跟蹤方法，使其實現對于講話人嘴唇運動的獲取和跟蹤，在獲取較高匹配準確率的同時，保證實時的處理速度。

本發明通過以下技術方案實現的：

本發明包括如下步驟：

步驟一，通過數碼攝像機拍攝并獲取包含嘴唇區域在內的圖像序列。由于常用數碼攝像機采集的顏色空間為RGB顏色空間，而該空間并非符合人眼色差視覺的均勻色彩空間。因此，需要將其轉化為CIE-LAB均勻色彩空間，具體如下：

XYZ=0.4900.3100.2000.1770.8130.0110.0000.0100.990RGB]]>