[發明專利]一種三維視頻重定位方法

有效

• 申請號: 201510823404.5
• 申請日: 2015-11-24
• 公開（公告）號: CN105376553B
• 公開（公告）日: 2017-03-08
• 發明（設計）人: 邵楓;林文崇;李福翠
• 申請（專利權）人: 寧波大學
• 主分類號: H04N13/02
• 分類號: H04N13/02;H04N13/04
• 代理公司: 寧波奧圣專利代理事務所(普通合伙)33226
• 代理人: 周玨

技術領域

本發明涉及一種圖像信號的處理方法，尤其是涉及一種三維視頻重定位方法。

背景技術

隨著視頻顯示設備(例如智能手機、平板電腦、電視等)的快速發展與更新換代，具有不同分辨率和屏幕高寬比的顯示終端設備充斥著人們的工作與生活。當需要顯示的圖像或視頻的分辨率與屏幕的分辨率不相符時，如何在盡可能不改變用戶觀看體驗的前提下，改變圖像或視頻內容的分辨率使之適應不同尺寸的顯示設備，這就是重定位(retargeting)問題。當前解決這個問題的方法有：均勻縮放(uniformscaling)、裁切(cropping)和在屏幕邊緣填充黑色邊帶(letterboxing)。然而，這些傳統方法通常不能達到很好的用戶體驗效果，不能充分利用顯示設備的尺寸優勢，降低了用戶的體驗。

而對于視頻的重定位而言，如果直接將細縫裁剪算法應用到視頻，即單獨處理視頻中的每一幀，則會造成嚴重的抖動；同時，從視覺注意力的角度出發解構視頻場景，深度這一維度信息可以很好地體現出人眼視覺注意力在前后背景內容上的區分度。因此，如何對三維視頻進行縮放以減少圖像形變、避免時域抖動、突出顯著內容，從而降低視覺不舒適，都是在對三維視頻進行重定位過程中需要研究解決的問題。

發明內容

本發明所要解決的技術問題是提供一種能夠有效地調整三維視頻尺寸大小，且保持較高視覺舒適性的三維視頻重定位方法。

本發明解決上述技術問題所采用的技術方案為：一種三維視頻重定位方法，其特征在于包括以下步驟：

①待處理的原始三維視頻序列由彩色視頻序列和深度視頻序列構成，假定彩色視頻序列中包含的彩色圖像的總幀數和深度視頻序列中包含的深度圖像的總幀數均為T，將彩色視頻序列中t時刻的彩色圖像記為{I_t(x,y)}，將深度視頻序列中t時刻的深度圖像記為{D_t(x,y)}，其中，T>1，1≤t≤T，1≤x≤W,1≤y≤H，W表示彩色視頻序列中的彩色圖像和深度視頻序列中的深度圖像的寬度，H表示彩色視頻序列中的彩色圖像和深度視頻序列中的深度圖像的高度，I_t(x,y)表示{I_t(x,y)}中坐標位置為(x,y)的像素點的像素值，D_t(x,y)表示{D_t(x,y)}中坐標位置為(x,y)的像素點的像素值；

②對由T幀彩色圖像構成并呈三維立方體的彩色視頻序列在X方向上進行采樣，得到彩色視頻序列的W個Y-T截面圖像，將彩色視頻序列的第x個Y-T截面圖像記為{I_x(y,t)}，將{I_x(y,t)}中坐標位置為(y,t)的像素點的像素值記為I_x(y,t)，I_x(y,t)＝I_t(x,y)；同樣，對由T幀彩色圖像構成并呈三維立方體的彩色視頻序列在Y方向上進行采樣，得到彩色視頻序列的H個X-T截面圖像，將彩色視頻序列的第y個X-T截面圖像記為{I_y(x,t)}，將{I_y(x,t)}中坐標位置為(x,t)的像素點的像素值記為I_y(x,t)，I_y(x,t)＝I_t(x,y)；

③通過對彩色視頻序列的每個Y-T截面圖像進行低秩矩陣分解，獲取彩色視頻序列的每個Y-T截面圖像的最優垂直方向運動矩陣，將{I_x(y,t)}的最優垂直方向運動矩陣記為同樣，通過對彩色視頻序列的每個X-T截面圖像進行低秩矩陣分解，獲取彩色視頻序列的每個X-T截面圖像的最優水平方向運動矩陣，將{I_y(x,t)}的最優水平方向運動矩陣記為然后根據彩色視頻序列的每個Y-T截面圖像的最優垂直方向運動矩陣和每個X-T截面圖像的最優水平方向運動矩陣，獲取彩色視頻序列中每個時刻的彩色圖像的運動顯著圖，將{I_t(x,y)}的運動顯著圖記為{M_t(x,y)}，其中，M_t(x,y)表示{M_t(x,y)}中坐標位置為(x,y)的像素點的像素值；

④將彩色視頻序列中當前待處理的t時刻的彩色圖像定義為當前彩色圖像，記為{I_t(x,y)}；并將深度視頻序列中與{I_t(x,y)}對應的深度圖像定義為當前深度圖像，記為{D_t(x,y)}，其中，此處t的初始值為2，2≤t≤T；