[發明專利]一種視場畫面圖像生成方法及裝置

有效

• 申請號: 201710317371.6
• 申請日: 2017-05-05
• 公開（公告）號: CN107105218B
• 公開（公告）日: 2019-05-17
• 發明（設計）人: 陳志鋒;唐禹譜;陳進鼎
• 申請（專利權）人: 珠海全志科技股份有限公司
• 主分類號: H04N13/275
• 分類號: H04N13/275;G06T3/40
• 代理公司: 深圳市君之泉知識產權代理有限公司 44366
• 代理人: 張丕陽

本發明涉及一種視場畫面圖像生成方法，包括接收視場畫面圖像的分辨率、當前視角姿態參數和全景視頻圖像，根據視場畫面圖像的分辨率、當前視角姿態參數和全景視頻圖像的格式，計算視場畫面中每個像素對應的在全景視頻圖像中的坐標；根據全景視頻圖像中的坐標提取視場畫面圖像像素點所需要的插值點的值進行插值計算，生成視場畫面圖像。降低了處理器的負荷及功耗，同時節省帶寬資源。本發明還提供了一種視場畫面圖像生成裝置，使用硬件電路對每個像素點進行坐標轉換、插值計算，保證低功耗的同時，能實現高圖像質量和低顯示延遲；硬件實現的視場畫面圖像生成裝置能夠直接將視場畫面圖像輸出到顯示設備，能夠有效節省帶寬資源和降低顯示延遲。

技術領域

本發明涉及數字視頻處理領域，具體涉及一種視場畫面圖像生成方法及裝置。

背景技術

全景變換是一個將輸入的全景視頻圖像，根據視角姿態參數，生成用戶主觀視場畫面的過程，主要應用于VR設備。全景視頻圖像是一類包含了水平360度垂直180度全景信息的視頻圖像，目前主要有球形全景和立方體全景格式。通過VR設備以主觀視角觀看全景視頻圖像，可以為使用者提供身臨其境的沉浸式體驗。同時該類應用也對VR設備的圖像渲染質量、幀率以及顯示延遲提出了更高的要求。

現有的全景變換基本采用軟件調用GPU渲染的解決方案，其處理流程如圖1所示。全景視頻圖像由視頻解碼單元錄入存儲器中，GPU讀取存儲器中全景視頻圖像數據進行處理。在GPU內部處理流程中，先根據輸入視頻圖像的格式選擇三維模型的類型(三維建模)；并將全景視頻圖像作為紋理與三維模型幾何網格一一對應(紋理化)；再根據慣性測量單元提供的視角姿態參數對模型進行三維旋轉變換以及二維投影變換(矩陣變換)；最后通過插值、渲染輸出用戶視場圖像(光柵化)。GPU輸出的視頻圖像將寫回存儲器，由視頻顯示單元讀取并輸出到顯示設備上，完成視場圖像的顯示。

全景視頻圖像分辨率一般較高，對圖像顯示質量和速度有較高要求。現有技術中，GPU利用三維建模將視頻圖像分解為多個幾何網格進行處理，建模的精細程度決定著圖像質量和運算量。建模不夠精細將導致圖像質量下降、拼接痕跡明顯等問題，而更精細的建模又會使運算量和功耗成倍增加，影響VR設備整體的性能。而且GPU作為通用的圖像處理器，其工作方式決定了其不能將直接將結果輸出到顯示設備，而必須先將結果寫回存儲器，由圖像顯示單元讀取并輸出到顯示設備上，不但消耗了帶寬資源，而且增加了顯示時延。

發明內容

本發明針對現有技術的上述缺陷，提供一種視場畫面圖像生成方法，克服現有技術建模不夠精細導致圖像質量下降、帶寬消耗大，顯示時延的缺陷。

本發明解決其技術問題所采用的技術方案是：提供一種視場畫面圖像生成方法，包括：步驟一，接收視場畫面的分辨率、當前視角姿態參數和全景視頻圖像，根據所示視場畫面的分辨率、所述當前視角姿態參數和所述全景視頻圖像的格式，計算視場畫面中每個像素點對應的在所述全景視頻圖像中的坐標；步驟二，根據所述全景視頻圖像中的坐標提取視場畫面圖像像素點所需要的插值點的值進行插值計算，以生成視場畫面圖像。

所述步驟一中的計算視場畫面中每個像素對應的在所述全景視頻圖像中的坐標包括：

根據所述視場畫面的分辨率將所述視場畫面的坐標轉換為空間直角坐標；

根據所述當前視角姿態參數計算旋轉矩陣；

根據所述空間直角坐標和所述旋轉矩陣計算旋轉后的空間直角坐標；

根據所述旋轉后的空間直角坐標和所述全景視頻圖像的格式計算所述視場畫面中每個像素點對應的在所述全景視頻圖像中的坐標。

所述當前視角姿態參數是四元數、歐拉角或旋轉矩陣。

所述全景視頻圖像的格式是球形全景和立方體全景。

所述步驟二包括：根據雙線性插值或雙三次插值算法對所述全景視頻圖像中的插值點的值進行插值計算，以生成所述視場畫面圖像。