[發明專利]注視驅動的視頻錄制

在審

• 申請號: 201980082400.2
• 申請日: 2019-12-13
• 公開（公告）號: CN113168235A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: M·努爾卡米;R·德賽
• 申請（專利權）人: 蘋果公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/03
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 魏小薇;吳麗麗

1.一種系統，包括：

一個或多個注視跟蹤傳感器；

一個或多個圖像傳感器；和

處理裝置，所述處理裝置被配置為：

訪問使用所述一個或多個注視跟蹤傳感器捕獲的注視數據；

將時間濾波器應用于所述注視數據以獲得平滑的注視估計；

基于所述平滑的注視估計來確定感興趣區域，其中所述感興趣區域識別所述一個或多個圖像傳感器的視場的子集；

訪問使用所述一個或多個圖像傳感器捕獲的視頻幀；以及

基于所述感興趣區域將信號處理應用于所述視頻幀以獲得增強的視頻幀。

2.根據權利要求1所述的系統，其中所述處理裝置被配置為通過執行包括以下各項的操作來基于所述感興趣區域將信號處理應用于所述視頻幀以獲得所述增強的視頻幀：

將所述幀的與所述感興趣區域相關聯的部分錄制為所述增強的視頻幀，其中所述幀的所述部分對應于比所述幀更小的視場。

3.根據權利要求1所述的系統，其中所述處理裝置被配置為通過執行包括以下各項的操作來基于所述感興趣區域將信號處理應用于所述視頻幀以獲得所述增強的視頻幀：

使用以下方法對所述幀進行編碼：針對與所述感興趣區域相關聯的所述幀的第一部分，使用第一個每像素比特分配，并且針對所述幀的所述第一部分之外的所述幀的一個或多個相應部分，使用比所述第一個每像素比特分配低的一個或多個每像素比特分配。

4.根據權利要求1至3中任一項所述的系統，其中所述處理裝置被配置為通過執行包括以下各項的操作來基于所述感興趣區域將信號處理應用于所述視頻幀以獲得所述增強的視頻幀：

將計算機視覺處理應用于所述幀的與所述感興趣區域相關聯的部分以檢測出現在所述幀的所述部分中的對象，以及確定所述對象的分類，其中所述幀的所述部分對應于比所述幀更小的視場；

基于所述分類生成注釋；以及

將所述注釋疊加在所述視頻幀上以獲得所述增強的視頻幀。

5.根據權利要求1至4中任一項所述的系統，所述系統包括：

附接到所述一個或多個注視跟蹤傳感器和所述一個或多個圖像傳感器的頭戴式顯示器，其中所述頭戴式顯示器被配置為顯示所述增強的視頻幀。

6.根據權利要求1至5中任一項所述的系統，其中所述時間濾波器包括卡爾曼濾波器。

7.根據權利要求1至5中任一項所述的系統，其中所述時間濾波器包括所述注視數據在時間窗口中的移動平均值。

8.根據權利要求1至5中任一項所述的系統，其中所述處理裝置被配置為通過執行包括以下各項的操作來將所述時間濾波器應用于所述注視數據以獲得所述平滑的注視估計：

在時間窗口中將曲線擬合到所述注視數據。

9.根據權利要求1至8中任一項所述的系統，其中所述處理裝置被配置為通過執行包括以下各項的操作來基于所述平滑的注視估計確定所述感興趣區域：

將計算機視覺處理應用于所述視頻幀以對出現在所述視頻幀中的對象進行檢測和分類，從而獲得所述視頻幀內與所述對象相關聯的位置；

基于所述平滑的注視估計和所述對象的所述位置來確定所述感興趣區域的成本函數的值；以及

基于所述成本函數的所述值確定所述感興趣區域。

10.一種方法，所述方法包括：

訪問使用一個或多個注視跟蹤傳感器捕獲的注視數據；

將時間濾波器應用于所述注視數據以獲得平滑的注視估計；

基于所述平滑的注視估計來確定感興趣區域，其中所述感興趣區域識別視場的子集；

訪問視頻幀；

基于所述感興趣區域將信號處理應用于所述視頻幀以獲得增強的視頻幀；以及

存儲、傳輸或顯示所述增強的視頻幀。