[發明專利]一種高效的GPU三維視頻融合繪制方法

有效

• 申請號: 201510028009.8
• 申請日: 2015-01-20
• 公開（公告）號: CN104616243B
• 公開（公告）日: 2018-02-27
• 發明（設計）人: 李勝;閭曉琴;汪國平
• 申請（專利權）人: 北京道和匯通科技發展有限公司
• 主分類號: G06T1/00
• 分類號: G06T1/00;H04N13/00
• 代理公司: 北京君尚知識產權代理事務所(普通合伙)11200
• 代理人: 余長江

1.一種高效的GPU三維視頻融合繪制方法，其步驟包括：

1)通過視頻對象緩沖區獲取由多路視頻流所輸入的視頻數據，采用視頻解碼器對輸入的視頻數據進行解碼，視頻對象的解碼線程由視頻對象所依賴的對應三維場景部分的可視特性進行控制和驅動，所述可視特性包括可見性、分層屬性和時間一致性；

2)在解碼完成后，將所有按照同步時間解碼相應的時間片段而得到的圖像序列和紋理ID綁定并存放在圖像紋理緩沖區中；

3)采用時空紋理映射函數對圖像紋理緩沖區中的紋理進行采樣，將其映射到三維場景中的物體的表面，并完成其它真實感繪制相關的操作，最終輸出基于視頻的虛實融合繪制結果。

2.如權利要求1所述的方法，其特征在于：步驟1)所述可見性包括視域可見性、背向面可見性和遮擋可見性；所述分層屬性包括空間分層分辨率和時間分層分辨率；所述時間一致性通過三維繪制系統向各個解碼線程發送同步時間戳實現。

3.如權利要求1或2所述的方法，其特征在于：步驟1)在三維場景對應部分的可視特性的控制下進行解碼時，依序分別計算和判定視頻對象的可見性、空間分層、時間分層；首先根據三維場景空間信息，通過計算視頻對象的可見性，從m路視頻所對應的視頻對象中選擇出n路有效視頻；然后分別計算出n路視頻中每一個有效視頻對象的空間分層分辨率和時間分層分辨率；然后根據當前時間計算出每個視頻對象的起始播放時間，并且找到其對應的起始解碼的I幀，后續的解碼則從當前的I幀開始；當三維場景的觀察參數發生變化時，或者三維場景中的視頻對象本身發生變化時，重新計算視頻對象的可見性、時間分層和空間分層分辨率和起始解碼的I幀。

4.如權利要求3所述的方法，其特征在于，所述可見性的判斷和剔除方法包括：

視域體判斷剔除，輸入視頻對象K所依附的三維場景表面G_k如果完全位于當前視點的觀察三維場景視域體之外，則該部分的三維場景表面相對于當前視點不可見，標記可見性狀態v_k＝0；否則該部分的三維場景表面部分或者完全位于視域體之內，標記可見性狀態v_k＝1；

背向面判斷剔除，針對所有通過上述視域體判斷的輸入視頻對象K所依附的三維場景表面G_k，如果屬于相對當前視點觀察三維場景時的背向面，則該部分的三維場景表面相對于當前視點不可見，標記對應視頻對象的可見性狀態v_k＝0；否則為正向面，標記視頻對象的可見性狀態v_k＝1；

以及遮擋判斷剔除，針對所有通過上述視域體判斷和背向面判斷得到的輸入視頻對象K所依附的三維場景表面G_k，如果能夠找到完全遮擋該G_k的其它三維場景，則標記其對應視頻對象的可見性狀態v_k＝0，否則對應視頻對象的可見性狀態v_k＝1。

5.如權利要求4所述的方法，其特征在于：所述視域體判斷剔除的過程中，采用三維場景表面的包圍盒代替三維場景表面本身進行近似判斷，具體方法是：采用基于軸對齊包圍盒的方法，通過2個頂點直接確定包圍盒與視域體的相交情況，這兩個頂點稱為正側點p和負側點n，相對于檢測平面π，p點的有向距離最大，而n點的有向距離最小，如果p點在平面π的負方向，那么包圍盒完全在視域體之外，否則進一步檢測n點，若n點在平面π的負方向，則包圍盒與視域體相交，否則完全包含在其內部。

6.如權利要求2所述的方法，其特征在于，步驟1)所述分層屬性中空間分層分辨率的計算方法為：利用包圍盒在成像平面上的近似投影面積作為計算視頻對象空間分辨率的依據；設包圍盒所對應的場景部分投影所占據的屏幕的像素數為N_k；設視頻對象K的空間分級由最低分辨率至最高分辨率依次為則其分級對應的分辨率所占據的像素數為則如果存在i使得則當前視頻對象K解碼的合適的空間分層值為

7.如權利要求6所述的方法，其特征在于，步驟1)在視頻對象空間分層評估之后，將視頻解碼的幀速率與當前三維虛擬現實系統的繪制的幀速率相匹配，即在滿足整個虛實融合的虛擬現實系統顯示的實時性的前提條件下合理分配時間，計算得到符合條件的視頻播放的時間分層。