[發明專利]會話視頻中單攝像頭眼神糾正方法

有效

• 申請號: 201510631610.6
• 申請日: 2015-09-29
• 公開（公告）號: CN105357513A
• 公開（公告）日: 2016-02-24
• 發明（設計）人: 陶曉明;盧繼川;葛寧;陸建華
• 申請（專利權）人: 清華大學
• 主分類號: H04N13/04
• 分類號: H04N13/04;G06T15/00;G06T17/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 樓艮基

技術領域

本發明涉及會話視頻中的眼神校正技術領域，特別是在僅有單個普通攝像頭情況下的一種實現會話視頻中的眼神糾正的方法。與傳統的雙攝像頭圖像合成方法，或者高成本的深度攝像頭方法進行眼神糾正的不同，本方法僅使用單個普通攝像頭，利用現有的3D模型實現眼神糾正，大大地減少了設備及算法復雜度和會話視頻成本，從而提高了會話視頻的用戶體驗，有利于會話視頻的推廣和普及。

背景技術

數字多媒體通信是當前通信技術眾多領域中最具挑戰性、發展最快、研究最活躍的領域之一。自從二十世紀九十年代以來，從數字電視廣播到無線多媒體通信等技術已在世界各國陸續得到普遍應用。互聯網的普及使得多媒體通信擺脫了電視的局限：Skype、GoogleTalk等視頻聊天軟件的出現讓人們可以通過電腦進行視頻通話、遠程會議等多媒體通信。而今，隨著智能手機的快速發展，移動終端上，例如Facetime和Tango等應用使得多媒體通信在移動網絡上普及，用戶越來越多地期望得到方便、快捷、無所不在的多媒體通信服務。

互聯網的普及和多媒體通信業務的發展帶來了多媒體數據的急劇增長，對于現有的移動網絡提出了嚴峻挑戰。其中，會話視頻業務能夠滿足用戶“不論身在何處，都能面對面交流”的需要，其應用日益廣泛。在如今眾多視頻業務中，會話視頻通信占據愈發重要的位置。PEW進行的統計研究表明，19％的美國用戶曾經在線使用手機嘗試過視頻通話、聊天、會議等會話視頻服務，而40％的Skype通話都是視頻通話。

然而，在現有的會話視頻系統中，比如Skype或者Facetime，一個重要的問題是缺少與會者眼神的自然交互。它產生的主要原因是因為攝像頭拍攝的方向和人眼注視的方向不在同一條直線上，存在一個夾角。這樣在交談過程中，在已經注視的情況下，對方仍然感覺不到對方正注視著自己，無法保證眼神的自然交流，從而大大地降低了用戶體驗。為了保證眼神的自然交互，會話視頻中需要進行眼神糾正，從而實現眼神交互。拋開純審美學不談，眼神交流也是人們交流之間的不可或缺的組成部分。這個問題在高端的會話視頻系統中用特別的硬件設備是能解決的，但是因為其造價昂貴，很難進行推廣和普及。

目前，已經有大量這方面的研究工作。眼神糾正需要知道圖像的深度信息，在人臉圖像里，深度信息中包含了人臉上的每一點到攝像頭的距離。眼神糾正問題可以看成是一個新圖像合成問題，合成的新圖像能夠很好的實現眼神交互。在眼神糾正中，圖像上的每個像素點會隨著深度信息/距離的不同而進行不同的位移或者旋轉，使其到達正確的位置上。也就是說，缺少深度信息，而不使用其他輔助工具，單靠一幅普通的圖像，是很難將眼神糾正到正確的位置，實現眼神交互的效果。

當前，進行眼神糾正的主要方法，總結起來分為兩種，一種是多攝像頭方法，另一種是深度攝像頭方法。多攝像頭方法主要是利用在不同角度的兩個攝像頭同時拍攝一幅圖像，然后對這兩幅圖像進行一個圖像合成來進行眼神糾正。深度攝像頭方法主要是利用其采集圖像的深度信息，進行3D建模，然后旋轉模型以達到眼神糾正。

比較兩種方法，使用多攝像頭方法所需的設備復雜，在對圖像預處理中需要攝像頭的標定和同步，使用的算法相對復雜一些，處理時間不能滿足實時化視頻的要求；而深度攝像頭價格昂貴，不利于會話視頻的推廣和普及。

為了能夠降低設備的復雜度，同時也能有較高的性價比，我們使用了一種能夠同時達到兩方面效果的方法。該方法使用單個普通攝像頭實現眼神糾正，在增強用戶體驗的情況下，能夠降低設備的復雜度，性價比更高，有利于會話視頻的推廣和普及。

發明內容：

針對現有技術的缺陷，本發明的目的是為了能夠在會話視頻中使用一個普通的攝像頭實現眼神校正，提高用戶體驗。該系統主要是利用人臉跟蹤得到頭部角度姿態，利用該角度對現有人臉頭部模型進行旋轉從而達到眼神校正的目的，從而實現單個普通攝像頭的眼神糾正，大大增加了會話視頻的推廣和普及，使得會話視頻更加普遍滴應用到實際生活中。

本發明的優點是用簡單的設備解決了互聯網視頻通話和移動視頻通話時的眼神糾正問題，而且也包含了原圖里的背景。

本發明中方法涉及到的步驟如下：先由人臉跟蹤得到視頻圖像的臉部特征點和角度姿態，然后利用臉部特征點對頭部3D模型進行變形，將其變行成跟視頻圖像中的臉部形狀基本一致，接著進行模型貼圖，將視頻圖像通過3D渲染貼在模型上，利用角度姿態對其進行3D旋轉實現眼神校正得到校正后的模型圖像，最后找出模型圖像與原圖像的臉部最佳邊緣，將模型圖像中的最佳邊緣的里面部分嵌合到原圖像中，最終得到含有背景的并進行眼神校正后的圖像，完成眼神校正的全過程，見附圖1、圖2和圖4。