[發明專利]注視驅動的視頻錄制

在審

• 申請號: 201980082400.2
• 申請日: 2019-12-13
• 公開（公告）號: CN113168235A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: M·努爾卡米;R·德賽
• 申請（專利權）人: 蘋果公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/03
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 魏小薇;吳麗麗

描述了用于注視驅動的視頻錄制的系統和方法。一些具體實施可包括訪問使用一個或多個注視跟蹤傳感器捕獲的注視數據；將時間濾波器應用于所述注視數據以獲得平滑的注視估計；基于所述平滑的注視估計來確定感興趣區域，其中所述感興趣區域識別視場的子集；訪問視頻幀；將所述幀的與所述感興趣區域相關聯的部分錄制為增強的視頻幀，其中所述幀的所述部分對應于比所述幀更小的視場；以及存儲、傳輸或顯示增強的視頻幀。

技術領域

本公開涉及注視驅動的視頻錄制。

背景技術

頭戴式顯示器用于為用戶提供虛擬現實、增強現實和/或混合現實體驗。可錄制來自虛擬現實或混合現實體驗的視頻以供稍后回放或分析。注視跟蹤傳感器可用于提供對拍攝人當前正在觀看的位置的指示。

發明內容

本文公開了注視驅動的視頻錄制的具體實施。

在第一方面，本說明書中描述的主題可體現在包括一個或多個注視跟蹤傳感器、一個或多個圖像傳感器和處理裝置的系統中，該處理裝置被配置為：訪問使用一個或多個注視跟蹤傳感器捕獲的注視數據；將時間濾波器應用于所述注視數據以獲得平滑的注視估計；基于所述平滑的注視估計來確定感興趣區域，其中所述感興趣區域識別所述一個或多個圖像傳感器的視場的子集；訪問使用所述一個或多個圖像傳感器捕獲的視頻幀；以及基于感興趣區域將信號處理應用于視頻幀以獲得增強的視頻幀。

在第二方面，本說明書中描述的主題可體現在方法中，該方法包括：訪問使用一個或多個注視跟蹤傳感器捕獲的注視數據；將時間濾波器應用于所述注視數據以獲得平滑的注視估計；基于所述平滑的注視估計來確定感興趣區域，其中所述感興趣區域識別視場的子集；訪問視頻幀；基于所述感興趣區域將信號處理應用于所述視頻幀以獲得增強的視頻幀；以及存儲、傳輸或顯示增強的視頻幀。

在第三方面，本說明書中描述的主題可體現在一種非暫態計算機可讀存儲介質中。該非暫態計算機可讀存儲介質可包括可執行指令，該可執行指令在由處理器執行時，使得執行操作，包括訪問使用一個或多個注視跟蹤傳感器捕獲的注視數據；將時間濾波器應用于所述注視數據以獲得平滑的注視估計；基于所述平滑的注視估計來確定感興趣區域，其中所述感興趣區域識別視場的子集；訪問視頻幀；基于所述感興趣區域將信號處理應用于所述視頻幀以獲得增強的視頻幀；以及存儲、傳輸或顯示增強的視頻幀。

在第四方面，本說明書中描述的主題可體現在包括一個或多個注視跟蹤傳感器、一個或多個圖像傳感器和處理裝置的系統中，該處理裝置被配置為：訪問使用一個或多個注視跟蹤傳感器捕獲的注視數據；基于所述注視數據來確定感興趣區域，其中所述感興趣區域識別所述一個或多個圖像傳感器的視場的子集；訪問使用所述一個或多個圖像傳感器捕獲的視頻幀；并且將幀的與感興趣區域相關聯的部分錄制為增強的視頻幀，其中幀的該部分對應于比幀更小的視場。

在第五方面，本說明書中描述的主題可體現在方法中，該方法包括：訪問使用一個或多個注視跟蹤傳感器捕獲的注視數據；基于所述注視數據來確定感興趣區域，其中所述感興趣區域識別視場的子集；訪問視頻幀；將所述幀的與所述感興趣區域相關聯的部分錄制為增強的視頻幀，其中所述幀的所述部分對應于比所述幀更小的視場；以及存儲、傳輸或顯示增強的視頻幀。

在第六方面，本說明書中描述的主題可體現在一種非暫態計算機可讀存儲介質中。該非暫態計算機可讀存儲介質可包括可執行指令，該可執行指令在由處理器執行時，使得執行操作，包括訪問使用一個或多個注視跟蹤傳感器捕獲的注視數據；基于所述注視數據來確定感興趣區域，其中所述感興趣區域識別視場的子集；訪問視頻幀；將所述幀的與所述感興趣區域相關聯的部分錄制為增強的視頻幀，其中所述幀的所述部分對應于比所述幀更小的視場；以及存儲、傳輸或顯示增強的視頻幀。

附圖說明

在閱讀本公開時通過結合附圖對以下具體實施方式得以最佳理解。應當強調的是，根據慣例，附圖的各種特征部不是成比例的。相反，為了清楚起見，各種特征部的尺寸被任意擴大或縮小。