[發明專利]利用多個LSR處理引擎的用于實時圖像變換的無丟失高速緩存結構

在審

• 申請號: 202210653264.1
• 申請日: 2018-04-03
• 公開（公告）號: CN114911718A
• 公開（公告）日: 2022-08-16
• 發明（設計）人: R·S·哈拉登;T·奧茲岡納;A·J·穆夫;J·P·布拉德福德;C·J·約翰遜;G·梁;M·科姆帕蘭
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F12/0862
• 分類號: G06F12/0862;G06F12/0875;G06F3/01;G06T1/60;G06F1/16;G02B27/01;G09G5/36;G09G5/393;G09G5/395
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 姚杰

本公開的實施例涉及利用多個LSR處理引擎的用于實時圖像變換的無丟失高速緩存結構。本文中公開了用于提供改進的高速緩存結構和方法的系統和方法，高速緩存結構和方法的大小被最佳地確定以支持預定范圍的后期調節，并且其中圖像數據以消除從DRAM中重取輸入圖像數據并且使DRAM帶寬和功率最小化的方式智能地從DRAM中被讀出并且被高速緩存。系統和方法還可以適于與壓縮圖像數據和多個LSR處理引擎一起工作。

相關申請引用

本申請是國際申請號為PCT/US2018/025777、國際申請日為2018年4月3日、進入中國國家階段日期為2019年10月11日、中國國家申請號為201880024756.6、發明名稱為“利用多個LSR處理引擎的用于實時圖像變換的無丟失高速緩存結構”的發明專利申請的分案申請。

技術領域

本公開的實施例涉及利用多個LSR處理引擎的用于實時圖像變換的無丟失高速緩存結構。

背景技術

混合現實是允許虛擬圖像在顯示器中與現實世界物理環境混合的技術。用于混合現實的系統可以包括例如具有內置相機的透視頭戴式顯示(HMD)設備或智能電話。這樣的系統通常包括在一個或多個應用的控制下提供圖像的處理單元。其中看不到任何現實世界對象的完全虛擬現實環境也可以使用HMD和其他設備來支持。

很多HMD還包括一個或多個前置相機，從用戶的角度來看，前置相機捕獲用戶面前的環境。這樣的前置相機可以是深度相機，其不僅捕獲圖像數據，還捕獲有關用戶環境的深度或表面數據。從前置相機捕獲的圖像數據可以由位于HMD上的板載處理器使用，以生成可以經由并入HMD中的用戶顯示器而繪制給用戶的混合現實或虛擬現實顯示數據。

在這樣的系統中，用戶的身體、特別是頭部可以相對于虛擬環境實時地移動。例如，在混合現實應用中，如果用戶將頭部朝向一個方向傾斜，則他們將不期望圖像或全息圖隨之傾斜。理想地，系統將測量頭部的位置并且以足夠快的速率繪制圖像以消除用戶感覺到的圖像位置的任何抖動或漂移。然而，取決于GPU的質量和性能，典型的圖形處理單元(GPU)當前僅以每秒30至60幀繪制幀。這導致在檢測到頭部位置的時間點與實際將圖像輸出到顯示器的時間點之間的16到33毫秒的可能延遲。附加時延也可能與確定頭部位置所花費的時間和/或GPU的幀緩沖與最終顯示之間的延遲相關聯。結果是在用戶期望圖像的位置與顯示圖像的位置之間的潛在的大的誤差，從而導致用戶不適。

為了減少或消除這種錯誤，現有系統可以應用后期校正，以在由GPU繪制之后但是在顯示像素之前對圖像進行調節，以便補償因頭部移動引起的旋轉、平移和/或放大(下文中有時稱為“后期狀態調節”、“后期重投影”、“LRS”或“LSR調節”)。由于可以以高速率和高分辨率繪制幀，因此采用LSR的現有系統可能需要大量的DRAM帶寬和功率。當然，在無線的電池供電的HMD的情況下，芯片尺寸以及帶寬和功率要求可能非常重要。

本文中要求保護的技術方案不限于解決諸如上述任何缺點或僅在諸如上述環境中操作的實施例。而是，僅提供本背景以說明可以實踐本文中描述的一些實施例的一個示例性技術領域。

發明內容

本文中公開了用于提供改進的高速緩存結構和方法的系統和方法，這些高速緩存結構和方法的大小被最佳地確定以支持預定范圍的后期調節，并且其中以消除從DRAM中重取輸入圖像數據并且使DRAM帶寬和功耗最小化的方式智能地從DRAM中讀出并且高速緩存圖像數據。

在一個實施例中，高速緩存結構的大小被最佳地確定以支持預定范圍的后期調節，并且高速緩存結構被管理，使得：高速緩存/緩沖區可以僅獲取每行輸入圖像數據一次以減少輸入帶寬；高速緩存可以容納足以構造輸出圖像的多行(但是仍然比完整圖像少得多)；高速緩存可以在需要之前預取數據，使得不對圖像處理流水線增加任何附加延時；并且僅當不再需要構造輸出圖像時，高速緩存才可以逐出輸入圖像數據，而當不再需要時，高速緩存可以自動逐出輸入圖像數據。