[發明專利]一種適用于VR實時渲染應用的異步幀外插管線方法和系統

有效

• 申請號: 202011413250.X
• 申請日: 2020-12-07
• 公開（公告）號: CN112203073B
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 王西穎;傅錫豪;過潔;郭延文
• 申請（專利權）人: 南京愛奇藝智能科技有限公司
• 主分類號: H04N13/122
• 分類號: H04N13/122
• 代理公司: 北京繪聚高科知識產權代理事務所(普通合伙) 11832
• 代理人: 羅碩

1.一種適用于VR實時渲染應用的異步幀外插管線方法，其特征在于，包括：

獲取相機與圖像參數信息，將畫面運動拆分為相機平移運動、場景中物體運動和相機旋轉運動；

利用視差映射原理，對所述相機平移運動進行處理得到相機平移后的第一外插圖像；所述利用視差映射原理，對所述相機平移運動進行處理得到相機平移后的第一外插圖像包括：根據后處理著色器的第一紋理坐標計算上一時刻相機位置下的第二紋理坐標，其中，所述相機與圖像參數信息包括顏色緩沖；根據兩步迭代的視差映射方法計算深度值和目標紋理坐標，并根據所述目標紋理坐標對上一幀的所述顏色緩沖進行采樣生成相機平移新視點下的初步圖像；采用臨近點采樣的方法對所述初步圖像的遮擋與邊緣處進行修正，檢測當前采樣是否位于初步圖像中物體的邊界，并通過多次采樣取平均值的方式對所述深度值進行修正得到第一修正深度值；判斷在所述物體邊緣處是否出現采樣錯誤，并在出現采樣錯誤的情況下對深度值進行修正得到第二修正深度值；利用所述第二修正深度值計算偏移量和對應修正后的目標紋理坐標，并根據修正后目標紋理坐標重新進行采樣以生成相機平移新視點下的第一外插圖像；

利用相機平移運動修正算法，對所述場景中物體運動進行游戲引擎渲染的第一運動向量變換，得到所述第一外插圖像對應的物體運動的第二運動向量，并利用不動點迭代方法進行幀外插得到第二外插圖像；所述利用相機平移運動修正算法，對所述場景中物體運動進行游戲引擎渲染的第一運動向量變換，得到所述第一外插圖像對應的物體運動的第二運動向量，并利用不動點迭代方法進行幀外插得到第二外插圖像包括：對所述場景中物體運動進行游戲引擎渲染的第一運動向量變換，得到所述第一外插圖像對應的物體運動的第二運動向量，并對所述第二運動向量進行去相機移動與頭部移動修正；利用不動點迭代方法，對修正后的第二運動向量進行物體運動平滑得到第二外插圖像；

對所述場景中物體運動進行游戲引擎渲染的第一運動向量變換，得到所述第一外插圖像對應的物體運動的第二運動向量，并對所述第二運動向量進行去相機移動與頭部移動修正包括：對每個頂點計算當前幀的紋理坐標與前一幀的紋理坐標之差，并生成所述第一運動向量；將所述第一運動向量變換到合成幀的相機空間下，得到所述第二運動向量，其中，所述合成幀位于所述當前幀與所述前一幀之間；對所述第一運動向量和所述第二運動向量進行去相機移動與頭部移動修正；

將所述第二外插圖像進行相機旋轉運動的平滑計算，得到最終目標外插圖像。

2.根據權利要求1所述的一種適用于VR實時渲染應用的異步幀外插管線方法，其特征在于，所述“將所述第一運動向量變換到合成幀的相機空間下，得到所述第二運動向量”包括：

利用相機平移運動平滑的算法，計算像素著色器的每一個紋理坐標在當前幀的紋理坐標；

對所述第一運動向量進行采樣；

令所述當前幀對應的紋理坐標與所述第一運動向量之差為所述當前幀的紋理坐標對應的頂點在前一幀的紋理坐標；

對前一幀的深度值進行采樣，并生成當前幀的紋理坐標在當前幀的深度值；

設定固定誤差常量，判斷所述前一幀的深度值與所述當前幀的深度值之差是否大于所述固定誤差常量；

若大于，則所述當前幀的紋理坐標對應的像素在前一幀是被遮擋的，并利用當前幀的深度值替代所述前一幀的深度值；

利用相機變換矩陣與相機投影矩陣，計算所述前一幀的紋理坐標對應的世界空間頂點變換到當前幀的下一幀所在相機位置下的紋理坐標；

根據所述下一幀所在相機位置下的紋理坐標計算所述第二運動向量，并將所述第二運動向量寫入渲染緩沖區。

3.根據權利要求2所述的一種適用于VR實時渲染應用的異步幀外插管線方法，其特征在于，所述利用不動點迭代方法，對修正后的第二運動向量進行物體運動平滑得到第二外插圖像包括：

利用深度加權的固定區間收縮法選取初始點；

將所述初始點代入物體運動平滑方程，并利用不動點迭代方法求解得到所述第二外插圖像。