[發明專利]檢測臉部表情的系統和方法

有效

• 申請號: 200910166603.8
• 申請日: 2009-08-20
• 公開（公告）號: CN101739438A
• 公開（公告）日: 2010-06-16
• 發明（設計）人: 黃英珪;金亭培
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/00
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 王青芝;韓明星

本申請要求于2008年11月4日在韓國知識產權局提交的第 10-2008-0108747號韓國專利申請的利益，該申請完全公開于此以資參考。

技術領域

本發明的一個或多個示例性實施例涉及一種檢測臉部表情(facial gesture)的方法和系統，更具體地講，涉及這樣一種技術，在所述技術中， 可確定輸入圖像的姿勢，并可對每個姿勢使用個性化數據庫(DB：data base)， 從而根據每個用戶的特征來檢測臉部表情。

背景技術

在處理用戶的臉部圖像中，用戶可能期望僅使用圖像裝置而不需要任何 單獨裝置來容易地對用戶自己的臉部進行動畫處理或將用戶自己的臉部克隆 到另一代理。

在計算機圖形學中，上述對用戶臉部的簡單動畫制作可能是重要的并且 難的技術。對于該技術，可能要安裝和使用激光掃描儀或單獨的裝置。然而， 由于這些裝置成本高并且尺寸大，所以這些裝置可能不適合用作個人娛樂設 備的接口。

因此，提出了一種基于圖像對用戶的臉部建模并估計建模中的變化的技 術。一種可以查找特征點、確定姿勢和擬合臉部網格模型從而估計臉部表情 的變化的方法已經被使用。然而，根據用戶的特征估計臉部表情的變化可能 較難。

因此，需要一種根據用戶姿勢更準確地估計臉部表情、并檢測與每個用 戶的特征相符的準確姿勢的技術。

發明內容

根據示例性實施例，可提供一種檢測臉部表情的方法。所述方法可包括： 確定用于檢測用戶的臉部表情的基本數據庫(DB)；估計用戶的頭部姿勢； 通過使用個性化DB和普通DB中的至少一個來提取與估計的頭部姿勢相應 的網格模型，并使用提取的網格模型檢測臉部表情；將檢測的臉部表情反映 到虛擬對象。

在本實例中，確定基本DB的步驟可包括：識別用戶的臉部，確定用戶 是否已注冊，并依據用戶是否已注冊來確定基本DB。

另外，當用戶已注冊時，確定基本DB的步驟可確定預先存儲的用戶的 個性化DB作為基本DB。

另外，確定基本DB的步驟可包括：當用戶是未注冊用戶時，由用戶選 擇是否構造個性化DB；將根據用戶選擇而構造的個性化DB或預定的普通 DB確定為基本DB。

另外，所述估計步驟可包括：提取用戶的臉部區域；關于用戶的臉部區 域提取臉部描述符；用預先存儲的多個姿勢分類符對提取的臉部描述符執行 投影操作。

另外，檢測臉部表情的步驟可包括：通過使用個性化DB和普通DB中 的至少一個來確定與估計的頭部姿勢相應的網格模型；將確定的網格模型擬 合到用戶的臉部；執行關于擬合的網格模型的網格跟蹤。

另外，所述反映步驟可包括：測量用戶臉部的每個特征點的變化程度； 將所述變化程度反映到虛擬對象的臉部的每個特征點的移動。

根據示例性實施例，還可提供一種檢測臉部表情的系統，所述系統包括： 初始化執行單元，確定用于檢測用戶的臉部表情的基本DB；姿勢估計單元， 估計用戶的頭部姿勢；臉部表情檢測單元，通過使用個性化DB和普通DB 中的至少一個來提取與估計的頭部姿勢相應的網格模型，并通過使用提取的 網格模型檢測臉部表情；虛擬對象反映單元，將檢測的臉部表情反映到虛擬 對象。

在該實例中，初始化執行單元可包括：臉部識別單元，識別用戶的臉部； 個性化DB構造單元，依據用戶是否已注冊并依據用戶的選擇來構造個性化 DB；DB，存儲個性化DB和普通DB。

示例性實施例的其他方面、特征和/或優點將在下面的描述中被部分地闡 述，部分地，從所述描述中是清楚的，或可通過實施本公開而獲知。

附圖說明

結合附圖，示例性實施例的這些和/或其他方面、特征和優點從下面的描 述中將變得清楚，并更容易理解，其中：

圖1是示出根據示例性實施例的檢測臉部表情的方法的示圖；

圖2是示出在圖1的檢測臉部表情的方法中確定基本數據庫(DB)的操 作的詳細配置的示圖；

圖3是詳細示出在圖1的檢測臉部表情的方法中估計用戶的頭部姿勢的 操作的示圖；

圖4是詳細示出在圖1的檢測臉部表情的方法中使用網格模型檢測臉部 表情的操作的示圖；

圖5是詳細示出在圖1的檢測臉部表情的方法中將檢測的臉部表情反映 到虛擬對象的操作的示圖；和