[發明專利]用于非媒體內容的遠程顯示的改進延遲和效率

有效

• 申請號: 201580063878.2
• 申請日: 2015-11-20
• 公開（公告）號: CN107077313B
• 公開（公告）日: 2020-08-18
• 發明（設計）人: P.S.迪芬鮑格;V.S.索馬亞朱盧;廖懿婷;K.拉賈馬尼;K.D.弗萊明;J.M.霍蘭德
• 申請（專利權）人: 英特爾公司
• 主分類號: G06F3/14
• 分類號: G06F3/14;H04N21/235;H04N21/41;H04N21/4363;H04N21/4402
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 畢錚;張濤

討論了具有改進的延遲和效率的對圖像內容進行編碼以用于進行傳輸和經由遠程裝置顯示的技術。這樣的技術可以包括基于跳過指示符，至少跳過至少第一幀的非媒體內容部分的編碼、打包和傳輸。對于跳過幀，可以捕捉一個或多個選擇性更新以及將其集成到后續非跳過幀的編碼，其可以打包并且傳輸到遠程裝置用于呈現給用戶。

優先權聲明

本申請要求于2014年12月23日提交的題為“IMPROVED LATENCY AND EFFICIENCYFOR REMOTE DISPLAY OF NON-MEDIA CONTENT”的美國專利申請序列No.14/580,890的優先權，其整體通過引用并入本文。

背景技術

將圖像內容（例如，媒體內容或非媒體內容）經由無線顯示技術從移動裝置提供給遠程顯示器以用于呈現正變得日益流行。支持這樣的無線顯示對于小型移動裝置來說是困難的，并且會隨著實施更高分辨率無線顯示（例如，視網膜質量顯示）以及隨著移動裝置在更嚴格的熱約束的情況下變得更輕薄而變得更加困難。同樣，裝置之間的無線連接會隨著更多裝置投入使用而變得越來越擁擠。此外，隨著包括生產性應用程序、游戲、會議以及其他困難工作量的無線使用變得更加主流，這樣的無線顯示支持和其他類型的無線輸入/輸出（IO）會增加。

在這樣的環境中，包括電池壽命、圖像質量、端對端延遲等的用戶體驗將難以保持和改進。例如，在非媒體環境中（例如，生產性、web瀏覽等），人類感知是有強烈的延遲偏見的。在這樣的非媒體環境中，感性響應（例如，對觸摸或其他輸入的響應）與能力效率（例如，為了增加電池壽命）一樣重要。然而，當前的無線顯示解決方案和/或規范（諸如無線顯示（WiDi）和/或Miracast）可以針對諸如視頻回放、照片觀看等的媒體工作量進行優化。對于這樣的媒體工作量，恒定的幀率會是有利的并且當前解決方案會尋求以延遲和/或能量效率問題作為代價來提供恒定幀率。

更具體地，對于諸如WiFi和WiGig的無線傳輸，延誤和帶寬變化是固有的問題。例如，10毫秒（ms）量級的延誤會相對頻繁地發生并且甚至更長的延誤也并非罕見。此外，即使是諸如以太網和USB塊的有線接口也會由于傳輸的共享本質而造成不小的延誤和帶寬變化。另外，在等時性流（例如無線顯示）的上下文中非決定性傳輸的使用會加重這樣的問題和/或提供附加問題。例如，如果無線顯示設定或系統中的源和目標裝置以60Hz進行本地操作，延誤的幀（或丟棄這樣延誤的幀失敗）會使目標裝置比源裝置落后一個幀（例如，16.67ms）。多個這樣的事件會造成顯著的滯后并且在不丟棄幀的情況下無法恢復。然而，許多諸如H.264/高級視頻編碼（AVC）標準的無線顯示編碼標準要求目標裝置解碼所有的幀。否則，目標裝置會丟失后續幀的解碼所需的數據。此外，典型的解碼器不能在每幀時間解碼多個幀（例如，典型的解碼器可以每16.67ms間隔解碼最多兩幀），從而限制了目標裝置趕上顯著延誤的能力。在任一情況下，這樣的延誤的幀可能不會被顯示（例如，在60Hz的目標裝置處）并且因此不會提供直接感知的用戶價值。

如討論的，當前的無線顯示解決方案會聚焦于媒體工作量并且一些實施方式會試圖通過實施大抖動緩沖器來解決延誤幀的問題，這會增加源裝置與目標裝置之間的固定延遲。這樣的解決方案對于端對端延遲不成問題的媒體內容是可接受的（例如，使用100-200ms緩沖器）。然而，這樣的抖動緩沖器解決方案對于非媒體和/或互動性工作量，諸如辦公生產性應用程序、游戲、web瀏覽和在觸摸屏互動中典型的許多其他應用程序，通常是不可接受的。

由此，現有技術未對非媒體和/或互動性內容的遠程顯示提供圖像內容的低延遲和能量高效無線傳輸。這樣的問題會隨著呈現高質量圖像內容的需求變得更加普遍而變得至關重要，所述是高質量圖像內容是響應性的并且是可以以低功率產生的。

附圖說明

在此描述的材料通過示例而不通過附圖中的限制的方式說明。為了說明的簡單和清楚，附圖中示出的元件并不必然按比例繪制。例如，為了清楚，一些元件的尺寸可以相對于其他元件放大。此外，在認為合適的情況下，在附圖中重復參考標記以指示相應或類似元件。在附圖中：