[發明專利]一種3D圖像空間與3D視聽空間轉換方法及裝置

有效

• 申請號: 201310438138.5
• 申請日: 2013-09-24
• 公開（公告）號: CN103458262A
• 公開（公告）日: 2013-12-18
• 發明（設計）人: 胡瑞敏;張茂勝;章佩;李登實;涂衛平;王曉晨;姜林;王松;王櫻
• 申請（專利權）人: 武漢大學
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

技術領域

本發明涉及3D視聽技術領域，尤其涉及圖像空間轉3D視聽空間的方法，研究視頻中用戶視覺對目標對象的位置的感知與用戶聽覺對目標對象位置的感知之間的轉換關系。

背景技術

隨著3D影視產業的飛速發展，作為3D影視的靈魂，3D音視頻技術已成為多媒體技術領域的研究熱點和進一步發展的重要方向，面向影劇院、家庭娛樂環境的3D視聽系統不斷推陳出新，現有的3D視頻技術已經能為觀眾提供很好的臨場體驗，市場上也出現了大量支持3D視覺效果的設備，然而，3D音頻技術的發展與3D視頻技術的發展并未同步跟進。目前市面上銷售的產品都是沿用原有的立體聲或環繞聲技術，基于傳統立體聲或環繞聲發展起來的2D音頻系統缺乏對聲音對象的三維空間信息表達，在3D視聽系統中不能完整表達圖像目標對象的聲音空間信息，導致3D音頻與3D視頻感知的不匹配，如3D視頻中看到發聲體在左前方，而聽覺感知發聲體在前甚至無法感知到具體位置，損害了聽眾對視聽事件的完整空間感受。.

發明內容

本發明的目的是在圖像空間中獲取目標對象的方位信息和3D視頻中獲取目標對象的距離信息，然后在視聽空間中還原聲像的目標位置，重建目標對象方位信息。

為實現上述目的，本發明提供了一種3D圖像空間與3D視聽空間轉換方法，包括以下步驟，

步驟1，目標對象方位信息獲取，包括將圖像坐標系內中心點的位置和目標對象的位置作為輸入，得到目標對象相對于中心點的方位信息；所述中心點位于圖像的中心位置；

步驟2，目標對象方位信息轉換，包括將圖像坐標系中目標對象相對于中心點的方位信息映射到視聽坐標系，得到目標對象相對于中心點在視聽坐標系中的方位信息；

步驟3，深度信息獲取，包括從3D視頻中提取出目標對象的深度值和中心點的深度值；

步驟4，目標對象距離信息獲取，包括根據步驟3所得目標對象與中心點的深度值，計算出目標對象與中心點的深度差，轉換得到以物理單位為度量的目標對象相對于中心點的距離信息；

步驟5，聲像位置還原，包括根據步驟2中所得到的目標對象相對于中心點的方位信息和步驟4中所得到的目標對象相對于中心點的距離信息，還原出目標對象在視聽坐標系中的目標位置。

而且，所述圖像坐標系是在圖像上定義的直角坐標系u-v，圖像的左上角為原點O₀，u為圖像的水平方向，v為圖像的垂直方向；所述視聽坐標系是由聽音點和X_c,Y_c,Z_c軸組成的直角坐標系，聽音點為原點，X_c軸和Y_c軸與圖像坐標系的u軸和v軸平行，Z_c軸為攝像機光軸，和圖像平面垂直；

步驟1中，設圖像坐標系內，中心點的位置以二維點的形式記為LC[a,b]^T，目標對象的位置為LO[x,y]^T，得到目標對象相對于中心點的方位信息是[x-a,y-b]^T；

步驟2中，得到目標對象相對于中心點在視聽坐標系中的方位信息如下，

[x_w-a_w,y_w-b_w,z_w-c_w]^T

其中，a_w是中心點在視聽坐標系中水平方向的值，b_w是中心點在視聽坐標系中垂直方向的值，c_w是中心點在視聽坐標系中位于攝像機光軸方向的值，x_w是中心點在視聽坐標系中水平方向的值，y_w是中心點在視聽坐標系中垂直方向的值，z_w是中心點在視聽坐標系中位于攝像機光軸方向的值。

而且，步驟3中，所述目標對象的深度值通過計算攝像機光學中心到目標對象的深度值Z_Lspeaker(u,v)得到，公式如下，