[發明專利]一種用于視頻會議的眼神交互方法及系統

有效

• 申請號: 201210519595.2
• 申請日: 2012-12-06
• 公開（公告）號: CN103034330A
• 公開（公告）日: 2013-04-10
• 發明（設計）人: 尹苓琳;陳益強;紀雯
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T7/00;H04N7/15
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

技術領域

本發明涉及視頻會議，特別涉及一種用于視頻會議的眼神交互方法及系統。

背景技術

視頻會議在未來的交流中占據著舉足輕重的位置，它能使人們更有效的交流，視頻會議可以使參與者雙方觀察到對方的面部表情、肢體動作及對自己說話的反應。通過視頻捕獲裝置，參與者一方的圖像將被獲取然后經過網絡傳輸到達另一方的顯示屏上。

但是遠程視頻會議不能保障參與者眼神的交互。參與者必須選擇直視攝像頭或者直視屏幕。只有一方參與者選擇直視攝像頭的時候，另一方才有對方正在看著自己的感覺。但如果參與者選擇凝視屏幕，那么這種眼神交流將會缺失。研究表明，當角度超過5度時，眼神交流的缺失將會很明顯。

眼神交流在面對面的交流中是非常重要的，而在視頻會議往往得不到保障。由于眼睛凝視屏幕的視線和攝像機放置的位置不一致導致了眼睛直視效果的缺失。這種眼神交流的缺失將會降低遠程視頻的沉浸感。

目前傳統的眼神矯正方法主要有2種，基于硬件的方法和基于軟件的方法：

（1）在基于硬件的方法中，通常是將半透明反射鏡呈一定角度對準視線凝視的位置。這些方法通常包含一個45度角安放于顯示器前方的分束器。一種典型的配置方法是將攝像頭放置于分束器之后，通過分束器獲得參與者的圖像。參與者將看到經分束器反射之后的另一方圖像。

（2）基于軟件的方法又可以分為基于計算機視覺的方法和圖像處理的方法。基于計算機視覺的方法中通常將多個攝像頭放置于顯示屏邊緣。通過多攝像頭進行立體分析可以得到場景的深度圖，進而對多幅圖像進行在虛擬視角的融合，從而保證眼神交互。其中虛擬視角常被設置為多個攝像機中點，也有通過人工自調整到最佳位置。基于圖像處理的方法中通過眼睛虹膜檢測算法、眼睛輪廓檢測算法找到眼睛位置，一旦眼睛的位置被確定，可通過變換眼睛局部圖像來達到眼神直視的效果。

在第一種方法中，需要特制的硬件設備和復雜的配置過程，加大了系統的復雜度和成本。該方法不適合在普適環境下使用。

第二種方法中，基于計算機視覺和圖像處理的方法被廣泛應用于視線矯正中。但是硬件需要按規定安置并且需要標定攝像機外參數。一旦硬件設備固定就不能輕易變動，否則攝像機外參數需要進行重新標定。并且多幅圖像的虛擬融合點被固定在一個位置，忽略了人和攝像機的相對位置關系，對于人的位置變化不具備自適應性，當人的頭部偏離此固定點較遠時，會導致從此虛擬視角點獲取的圖像依然達不到眼神直視的效果。并且，三維點云的建立計算量大，導致方法實時性不好。

發明內容

本發明的目的是提供一種操作方便、實時性高，對參與視頻會議的人員的不同位置具有自適應性，且能增強參與視頻會議的人員沉浸感的眼神交互方法及系統，以保障視頻會議中的眼神交流。

為了實現上述目的，本發明提供一種用于視頻會議的眼神交互方法，該方法包括：

步驟1，通過彩色攝像機獲取彩色圖像，通過深度攝像機獲取與所述彩色圖像對齊后的深度圖像；

步驟2，對所述彩色圖像和深度圖像進行前期處理，獲得虛擬坐標系下的三維信息，并將其投影到虛擬攝像機平面獲得眼神矯正的圖像；

步驟3，對所述眼神矯正的圖像進行中值濾波，獲得眼神直視的圖像。

所述步驟1中的所述彩色攝像機和所述深度攝像機的平面平行于屏幕平面。

所述步驟2包括：

步驟21，對所述彩色圖像進行前景提取，獲得前景的彩色圖像；同時對應的將所述與彩色圖像對齊的深度圖像的非前景區域設置為零，并對其進行深度圖像預處理；

步驟22，利用所述彩色圖像對彩色攝像機進行一次參數標定，獲取彩色攝像機內參數；

步驟23，設定虛擬坐標系，對所述前景的彩色圖像提取眼睛的位置特征，通過所述位置特征計算眼睛距離彩色攝像頭的水平和垂直偏移量，根據所述水平和垂直偏移量得到虛擬攝像機外參數。

步驟24，根據所述彩色攝像機內參數與所述前景的彩色圖像對齊的深度圖像，獲得前景區域三維信息，

步驟25，利用所述前景區域三維信息和所述虛擬攝像機外參數，獲得虛擬坐標系下的三維信息；

步驟26，利用所述彩色攝像機內參數將所述虛擬坐標系下的三維信息投影到虛擬攝像機平面獲得眼神矯正的圖像。

所述步驟21中進行深度圖像預處理的步驟：

步驟221，將誤判為前景區域的深度值設置為零，并將像素深度符合規定的深度值設置為背景區域；其中，原本為背景區域被判斷成了前景區域，叫做錯誤判斷，計算前景深度的均值和方差，將某點深度值與均值之差的絕對值大于方差加上某個閾值時，認定為錯誤判斷；