[發明專利]基于VR鏡頭的實景切換方法及裝置

有效

• 申請號: 201710353783.5
• 申請日: 2017-05-18
• 公開（公告）號: CN107222689B
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 耿志遠;吳波;吳珂
• 申請（專利權）人: 歌爾科技有限公司
• 主分類號: H04N5/268
• 分類號: H04N5/268;G06F3/01
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 劉戈

本申請實施例提供一種基于VR鏡頭的實景切換方法及裝置。其中，方法包括如下的步驟：響應于用戶切換實景的操作，捕獲VR鏡頭所拍攝的圖像；基于所述VR鏡頭處與人眼處的成像映射關系，將所述VR鏡頭所拍攝的圖像轉換為與所述用戶的裸眼觀測效果相同的圖像。本申請實施例的技術方案，使得用戶可以在佩戴VR眼鏡時，便捷地進行虛實場景的切換。

技術領域

本申請涉及虛擬現實技術領域，尤其涉及一種基于VR鏡頭的實景切換方法及裝置。

背景技術

VR(Virtual Reality，虛擬現實)技術是一種可以創建和體驗虛擬世界的計算機仿真系統，它利用計算機生成一種模擬環境，并通過多源信息融合的、交互式的三維動態視景和實體行為的系統仿真使用戶沉浸到該模擬環境中。

在用戶使用VR眼鏡的過程中，如果用戶需要觀測現實環境，比如要拿桌上的水杯喝水，就需要摘下VR眼鏡去取，操作比較麻煩。

發明內容

本申請實施例提供一種基于VR鏡頭的實景切換方法及裝置，使得用戶在佩戴VR眼鏡時，便捷地切換到實景環境。

本申請實施例提供一種基于VR鏡頭的實景切換方法，包括：

響應于用戶切換實景的操作，捕獲VR鏡頭所拍攝的圖像；

基于所述VR鏡頭處與人眼處的成像映射關系，將所述VR鏡頭所拍攝的圖像轉換為與所述用戶的裸眼觀測效果相同的圖像。

進一步可選地，所述方法還包括：響應于所述用戶切換VR場景的操作，向所述用戶展示相應的VR場景。

進一步可選地，所述投影映射關系包括：所述VR鏡頭在所述VR鏡頭處所成像的第一像平面與所述VR鏡頭在所述人眼處所成像的第二像平面的平面單應性矩陣；基于所述VR鏡頭處與人眼處的成像映射關系，將所述VR鏡頭所拍攝的圖像轉換為與所述用戶的裸眼觀測效果相同的圖像，包括：根據所述平面單應性矩陣，對所述圖像中每個像素點進行投影變換，得到所述與所述用戶的裸眼觀測效果相同的圖像。

進一步可選地，所述方法還包括：利用所述VR鏡頭在所述VR鏡頭處拍攝實景中的參考物，以獲得第一參考圖像；利用所述VR鏡頭在所述人眼處拍攝所述參考物，以獲得第二參考圖像；分別確定所述參考物所在平面與所述第一參考圖像所在的第一像平面和所述第二參考圖像所在的第二像平面之間的投影映射關系；根據所述參考物所在平面與所述第一像平面和所述第二像平面之間的投影映射關系，確定所述第一像平面與所述第二像平面之間的投影映射關系，作為所述VR鏡頭處與人眼處的成像映射關系。

進一步可選地，確定所述參考物所在平面與所述第一像平面的投影映射關系，包括：根據所述第一參考圖像的外部參數以及所述VR鏡頭的內部參數，基于相機模型，確定所述參考物所在平面與所述第一像平面的投影映射關系；確定所述參考物所在平面與所述第二像平面的平面單應性矩陣，包括:根據所述第二參考圖像的外部參數以及所述VR鏡頭的內部參數，基于所述相機模型，確定所述參考物所在平面與所述第二像平面的投影映射關系。

本申請實施例還提供一種基于VR鏡頭的實景切換裝置，包括：

拍攝模塊，用于響應于用戶切換實景的操作，捕獲VR鏡頭所拍攝的圖像；

轉換模塊，用于基于所述VR鏡頭處與人眼處的成像映射關系，將所述 VR鏡頭所拍攝的圖像轉換為與所述用戶的裸眼觀測效果相同的圖像。

進一步可選地，所述裝置還包括VR展示模塊，所述VR展示模塊用于：

響應于所述用戶切換VR場景的操作，向所述用戶展示相應的VR場景。