[發明專利]數字圖像采集裝置中的實時人臉追蹤

有效

• 申請號: 200680055962.0
• 申請日: 2006-08-22
• 公開（公告）號: CN101512549A
• 公開（公告）日: 2009-08-19
• 發明（設計）人: 彼得·科科倫;埃蘭·斯坦伯格;斯特凡·彼得雷斯庫;亞力山德魯·德林巴雷昂;弗洛林·納努;阿列克謝·波索賽因;彼得羅內爾內爾·比焦伊
• 申請（專利權）人: 快圖影像有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/34;G06K9/40
• 代理公司: 北京天昊聯合知識產權代理有限公司
• 代理人: 陳 源;張天舒

優先權

本專利申請要求2006年8月11日提交的第11/464,083號 美國專利申請的優先權，在此引用該專利申請供參考。

技術領域

本發明提供了一種用于在采集裝置中進行圖像處理的改進型方 法和設備。特別是，本發明提供了數字圖像采集裝置中的改進型實 時人臉追蹤。

背景技術

數字圖像采集裝置中的人臉追蹤描述了在一系列諸如視頻流或 者照相機預覽的圖像中標記人臉的方法。利用人臉追蹤，可以對攝 影者指出人臉在圖像中的位置，改進采集參數，或者允許根據所知 道的人臉位置，對該圖像進行后處理。

通常，人臉追蹤系統采用兩個基本模塊：(i)新候選人臉圖區 (candidate?face?region)在采集圖像或者序列圖像中的位置的檢測模 塊；以及(ii)對于確認的人臉圖區的追蹤模塊。

授予violla-Jones的US?2002/0102024披露了眾所周知的快速 人臉檢測算法。簡言之，Violla-Jones首先由采集圖像，通常是視頻 流中的圖像幀，得到積分圖像(integral?image)。該圖像中某點上方 及其左側的所有點的光強之和作為該積分圖像的每個像元。然后， 圖像中任意子窗口的總光強，可以通過將該子窗口右下點的積分圖 像值減去該子窗口左上點的積分圖像值求得。此外，利用子窗口各 點的積分圖像值的特定組合，可以有效比較相鄰子窗口的光強。

在Violla-Jones中，通過對該積分圖像中的子窗口應用分類器， 可以與積分圖像一起使用基于矩形(并且逐漸精細的)Haar特征的 一組(級聯的)32個分類器。為了全面分析采集圖像，在該積分圖 像上，增量位移該子窗口，直到整個圖像被覆蓋。

除了在整個積分圖像上移動該子窗口外，還必須放大/縮小該子 窗口，以覆蓋人臉尺寸的可能范圍。在Violla-Jones中，采用1.25 的縮放比例系數，并且為了覆蓋XVGA尺寸的圖像中的可能人臉尺 寸，通常要求大約10-12個不同比例的范圍。

因此，看得出，利用最小尺寸分類器子窗口，即，待檢測的最 小尺寸人臉，可以確定該積分圖像的分辨率，因為較大尺寸的子窗 口可以利用該積分圖像內的中間點進行其計算。

關于原始Violla-Jones算法的許多變型請查閱該文獻。這些變型 通常采用矩形Haar特征分類器并且采用Violla-Jones積分圖像技術。

即使Violla-Jones比其他人臉檢測器快得多，但是它仍需要大量 計算，并且在奔騰級計算機上，差不多可以實現實時性能。在諸如 手持式圖像采集裝置(例子包括數字照相機、手持式計算機或者裝 備了照相機的蜂窩電話)的資源有限的嵌入式系統中，對視頻以實 時幀頻運行這種人臉檢測器是不現實的。根據在典型數字照相機中 所作的測試，只能實現利用3-4個分類器級聯完全達到所有10-12個 子窗口比例。這樣可以實現某種級別的初級人臉檢測，但是其誤檢 率高得不可接受。

授予Rui等人的US?2005/0147278描述了一種利用多種線索自動 檢測和追蹤多個人的系統。Rui披露了將violla-Jones用作快速人臉 檢測器。然而，Rui為了避免Violla-Jones的處理開銷而披露了使用 自動初始化模塊，它利用動作、聲音和快速人臉檢測來檢測視頻序 列幀中的新人臉。該系統的其余部分采用眾所周知的人臉追蹤方法 逐幀追蹤現有的或者新發現的候選人臉圖區。還請注意，Rui要求順 序丟下某些視頻幀(video?frame)，以運行完整的人臉檢測。

發明內容

根據本發明的第一方面，提供了一種根據權利要求1所述的方 法。

本發明的第一方面避免對圖像流中的每個采集圖像計算全最高 分辨率積分圖像的需要，因此，可以將人臉追蹤系統所需的積分圖 像計算降低到最小。這將人臉檢測和追蹤的處理開銷降低到最小， 或者允許在逐幀處理間隔中使用更長的分類器鏈，從而實現較高質 量結果。這可以顯著提高實時人臉檢測和追蹤的性能和/或者準確性。

在該優選實施例中，當在人臉檢測期間在圖像采集裝置中實施 本發明時，從照相機硬件圖像采集子系統提取采集圖像的二次抽樣 拷貝，然后，對該二次抽樣圖像計算積分圖像。在人臉追蹤期間， 僅對包圍每個候選圖區的像斑，分別計算積分圖像。