[發明專利]混合現實顯示裝置和混合現實顯示方法

在審

• 申請號: 201980091454.5
• 申請日: 2019-02-06
• 公開（公告）號: CN113412479A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 川前治;奧萬壽男
• 申請（專利權）人: 麥克賽爾株式會社
• 主分類號: G06F13/00
• 分類號: G06F13/00
• 代理公司: 北京尚誠知識產權代理有限公司 11322
• 代理人: 龍淳;牛孝靈

本發明的MR顯示裝置(1)與其他體驗者佩戴的其他MR顯示裝置連接，彼此共享現實影像和虛擬物體的影像，其包括：從攝像機(10)拍攝的現實影像中識別現實物體，并基于體驗者(2)的操作對現實物體關聯規定的虛擬物體的控制器(16)；和能夠顯示所關聯的虛擬物體的影像的顯示部(13)。控制器經由通信部(64)取得其他MR顯示裝置生成的現實物體的識別結果和所關聯的虛擬物體的數據，將取得的數據與自身的數據合成，并將合成的影像顯示在顯示部上，并且，能夠基于體驗者的操作，對顯示在顯示部上的影像進行要與現實物體關聯的虛擬物體的編輯。

技術領域

本發明涉及一種能夠體驗由現實空間和虛擬物體合成得到的混合現實(MR：MixedReality)空間的混合現實顯示裝置和混合現實顯示方法。尤其涉及適合于多個MR體驗者共享MR體驗的技術。

背景技術

在游戲或維護作業等的內容(content)中，常常使用一種在現實空間或攝像機拍攝的現實影像中添加增強現實(AR：Augmented Reality)對象的技術，其中增強現實對象是由CG(Computer Graphics)等生成的虛擬物體。為了添加AR對象，用攝像機將被稱為AR觸發器或者標記的影像與背景同時拍攝，來將與AR觸發器關聯的AR對象合成到現實影像中。尤其是在MR體驗中，使用由攝像機和顯示器一體構成的頭戴式顯示器(HMD)，基于HMD中搭載的攝像機所拍攝的現實空間的影像，將根據HMD的位置和姿態而生成的AR對象作為虛擬物體的影像疊加顯示在現實空間中。

關于該技術，專利文獻1記載了一種MR系統，為了讓多個人共享MR體驗，除HMD之外還組合使用了平板電腦等便攜信息終端。其中記載了，在該MR系統中，使HMD中顯示的MR影像也顯示在平板電腦上，平板電腦的用戶能夠指定所共享的MR影像中的虛擬物體，并將指定的結果反映到MR影像中。

現有技術文獻

專利文獻

專利文獻1：日本特開2016-224810號公報

發明內容

發明要解決的技術問題

不過，在專利文獻1的方法中，便攜信息終端的用戶僅能夠指定虛擬物體，并不能進行在現實空間中配置虛擬物體或者置換虛擬物體的操作。另外，雖然HMD的現實空間能夠共享，但便攜信息終端的用戶自身的現實空間卻不能共享。

于是專利文獻1中存在這些問題，即，在多個人體驗MR空間的情況下，HMD佩戴者以外的其他體驗者不能進行在現實空間中配置虛擬物體或者置換虛擬物體的操作，并且不能共享其他體驗者的現實空間。

本發明是鑒于上述問題而完成的，其目的在于提供一種混合現實顯示裝置和混合現實顯示方法，在多個人體驗MR空間的情況下，多個體驗者能夠同時進行在現實空間中配置虛擬物體或者置換虛擬物體等操作，并且多個體驗者的現實空間能夠共享。

解決問題的技術手段

為了解決上述問題，本發明的混合現實顯示裝置與其他體驗者佩戴的其他混合現實顯示裝置連接，彼此共享現實影像和虛擬物體的影像，其包括：攝像機，其用于拍攝現實影像；控制器，其從攝像機拍攝的現實影像中識別現實物體，并基于體驗者的操作對所識別的現實物體關聯規定的虛擬物體；顯示部，其能夠顯示所關聯的虛擬物體的影像；存儲器，其保存現實物體和所關聯的虛擬物體的數據；和通信部，其與其他混合現實顯示裝置連接來收發數據。所述控制器經由所述通信部取得由其他混合現實顯示裝置生成的現實物體的識別結果和所關聯的虛擬物體的數據，將取得的數據與保存在所述存儲器中的數據合成，并將合成的影像顯示在所述顯示部上，并且，能夠基于體驗者的操作，對顯示在所述顯示部上的影像，進行要與現實物體關聯的虛擬物體的編輯。