[發明專利]用于空間依賴性內容的觸覺效果生成

有效

• 申請號: 201711457878.8
• 申請日: 2017-12-28
• 公開（公告）號: CN108255295B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: C·烏爾里克
• 申請（專利權）人: 意美森公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 陳潔;姬利永

提供了用于對觸覺效果進行制作和編碼的系統和方法，以用于諸如360度視頻、三維視頻、或者虛擬現實內容或增強現實內容等空間依賴性內容。這些系統和方法可以生成用于對所述內容的觸覺效果進行編碼或修改的一個或多個觸覺層。

背景技術

觸覺學是一種觸覺和力反饋技術，這種技術通過諸如振動、運動、以及其他力和刺激等觸覺效果來利用用戶的感官。諸如移動設備、游戲設備、觸屏設備、以及私人計算機等設備可以被配置用于生成觸覺效果。觸覺反饋可以向用戶提供運動學反饋(諸如作用力反饋和阻力反饋)和/或觸覺反饋(比如振動、振動感覺反饋、紋理、發熱等)。觸覺效果可用于警告用戶特定的事件或提供現實反饋以在模擬或虛擬環境中創造更強的感官沉浸。

設備可以被配置用于借助諸如視頻、游戲或其他媒體等其他內容的輸出來協調觸覺效果的輸出。在諸如360度視頻、三維視頻、或虛擬現實視頻等一些類型的視頻內容中，視頻場景可以基于用戶或觀看者的視角或興趣點而改變，并且可以期望為場景中用戶的視野所指向的不同對象提供不同的觸覺效果。

發明內容

一方面是一種制作(authoring)觸覺效果的方法。所述方法包括：接收觸覺軌跡和視頻紋理圖并且生成與觸覺像素相關聯的觸覺數據修改器。所述觸覺軌跡具有限定觸覺致動器的操作的觸覺數據。所述視頻紋理圖代表視頻的至少一個幀。所述觸覺軌跡與所述視頻的所述至少一個幀相關聯。所述視頻紋理圖具有多個視頻像素。每個觸覺像素與所述視頻像素中的至少一個相關聯。所述觸覺數據修改器被配置用于修改所述觸覺數據的至少一部分并修改所述觸覺致動器的操作。

另一方面是一種用于制作觸覺效果的裝置。所述裝置包括：處理設備，被配置用于控制所述裝置的操作；以及一個或多個計算機可讀數據存儲介質，存儲有軟件指令，所述軟件指令當由所述處理設備執行時使所述裝置：接收觸覺軌跡和視頻紋理圖并且生成與觸覺像素相關聯的觸覺數據修改器。所述觸覺軌跡具有限定觸覺致動器的操作的觸覺數據。所述視頻紋理圖代表視頻的至少一個幀。所述觸覺軌跡與所述視頻的所述幀相關聯，并且所述視頻紋理圖具有多個視頻像素。每個觸覺像素與所述視頻像素中的至少一個相關聯。所述觸覺數據修改器被配置用于修改所述觸覺數據的至少一部分并修改所述觸覺致動器的操作。

又另一方面是一種生成觸覺效果的方法。所述方法包括：接收包括觸覺數據的觸覺軌跡，所述觸覺數據限定觸覺致動器的操作；接收多個包括觸覺數據修改器的觸覺像素，每個觸覺像素與至少一個視頻像素相關聯，所述至少一個視頻像素包括在代表視頻的至少一個幀的視頻紋理圖中；標識所述視頻的所述幀中的興趣點，所述興趣點包括所述視頻的所述幀中的目標視頻像素；確定所述觸覺像素當中的目標觸覺像素，所述目標觸覺像素與所述視頻的所述幀中的所述目標視頻像素相對應；獲得所述目標觸覺像素中所包括的目標觸覺數據修改器；基于所述目標觸覺數據修改器來修改所述觸覺軌跡中的所述觸覺數據；以及基于經修改的觸覺數據控制觸覺致動器的操作。

又另一方面是一種用于生成觸覺效果的裝置。所述裝置包括：一個或多個致動器；致動器驅動電路，被配置用于操作所述致動器；傳感器，被配置用于檢測興趣點；以及處理設備，耦合至所述致動器驅動電路和所述傳感器。所述處理器被配置用于：接收包括觸覺數據的觸覺軌跡，所述觸覺數據限定觸覺致動器的操作；接收多個包括觸覺數據修改器的觸覺像素，每個觸覺像素與至少一個視頻像素相關聯，所述至少一個視頻像素包括在代表視頻的幀的視頻紋理圖中；使用所述傳感器標識所述視頻的所述幀中的興趣點，所述興趣點包括所述視頻的所述幀中的目標視頻像素；確定所述觸覺像素當中的目標觸覺像素，所述目標觸覺像素與所述視頻的所述幀中的所述目標視頻像素相對應；獲得所述目標觸覺像素中所包括的目標觸覺數據修改器；基于所述目標觸覺數據修改器來修改所述觸覺軌跡中的所述觸覺數據；基于經修改的觸覺數據生成控制信號；并且將所述控制信號傳輸至所述致動器驅動電路，所述控制信號使所述致動器驅動電路能夠控制所述致動器。