[發明專利]混合真實呈現設備及其控制方法

有效

• 申請號: 200810098315.9
• 申請日: 2008-05-23
• 公開（公告）號: CN101311893A
• 公開（公告）日: 2008-11-26
• 發明（設計）人: 守田憲司;下山朋彥
• 申請（專利權）人: 佳能株式會社
• 主分類號: G06F3/147
• 分類號: G06F3/147;G06F3/01
• 代理公司: 北京林達劉知識產權代理事務所
• 代理人: 劉新宇;陳立航

技術領域

本發明涉及一種用于將現實空間圖像和虛擬空間圖像合成在一起并呈現的混合真實呈現設備及其控制方法。

背景技術

在混合真實系統中，需要測量操作者的視點和視線方向，以及物體在空間中的位置。

作為位置和方位測量系統，一般的方法是使用例如已知的美國Polhemus公司出產的FASTRAK(商標名)位置和方位測量設備。另外，已知通過陀螺儀等的測量裝置來僅測量方位、并從圖像來測量位置信息和方位的漂移誤差的方法。

下面將參考圖1和2說明(例如，在日本特開2005-107968號公報中公開的)一般的混合真實呈現設備的硬件結構和處理序列。

在這個例子中，通過將虛擬空間圖像110(虛擬物體的圖像)疊加在現實空間物體111的現實空間圖像上，可以將虛擬空間圖像110表示的虛擬物體就像其存在于現實空間中那樣顯示在現實空間物體111上?？梢詫⑦@種功能應用于例如設計的驗證和娛樂。

在步驟S201中，PC(個人計算機)103從HMD(頭部佩戴的顯示器1101中包括的攝像單元102獲取現實空間圖像。

在步驟S202中，獲取固定在HMD?101上的HMD測量傳感器105的位置和方位測量值、以及固定在現實空間物體111上的現實空間物體測量傳感器106的位置和方位測量值。由位置和方位測量單元104收集這些測量值，并由PC?103經過串行通信等通信單元作為位置和方位信息而取入。

在步驟S203中，PC?103在其存儲器中繪制現實空間物體111的現實空間圖像。

在步驟S204中，根據在步驟S202中獲取的攝像單元102的位置和方位的測量值以及現實空間物體111的位置和方位的測量值，在PC?103的存儲器中繪制虛擬空間圖像，以將該虛擬空間圖像疊加在現實空間圖像上。以這種方式，在存儲器中生成作為現實空間圖像和虛擬空間圖像的合成圖像的混和真實圖像。

在步驟S205中，PC?103將在PC?103的存儲器上繪制的合成圖像(混和真實圖像)發送至HMD?101，從而在HMD?101上顯示該合成圖像(混和真實圖像)。

上述步驟S201～S205是對于1幀的處理。在步驟S206中，PC?103檢查是否輸入了基于操作者的操作的結束通知。如果未輸入結束通知(在步驟S206中，“否”)則處理返回步驟S201。另一方面，如果輸入了結束通知(在步驟S206中，“是”)則處理結束。

下面將參考圖3說明通過前述處理獲得的合成圖像的例子。

參考圖3，通過將從攝像單元102獲取的現實空間圖像按照時間順續排列來獲得圖像501～505。圖像511～圖像514按照時間順續地表示現實空間圖像和虛擬空間圖像之間的合成處理的進度。

在這個例子中，假設在步驟S201中獲取的現實空間圖像是圖像501。此后，經過了步驟S202和S203的處理期間這段時間，現實空間圖像從圖像501變成圖像502。

通過在步驟S204中將兩個虛擬空間圖像依次疊加并繪制在現實空間圖像上所獲得的例子是圖像513和514。

在步驟S205中輸出最終獲得的圖像(合成圖像)514。此時，現實空間圖像已變成圖像504或505了。

在前述一般的混合真實呈現設備的結構中，直到在HMD101上顯示在步驟S201中獲取的現實空間圖像為止，有許多步驟需要執行。特別地，由于由高畫質的CG圖像來實施虛擬空間圖像的繪制，因此，用于在步驟S204中疊加并繪制虛擬空間圖像的處理需要很多時間。

由于這個原因，當在HMD?101上顯示合成圖像時，如圖3所示，要實際地呈現給觀察者的合成圖像中的現實空間圖像從此時的現實空間圖像在時間上延遲，因而使得觀察者感覺不自然。

發明內容

為了解決上述問題做出了本發明。

根據本發明的第一方面，一種混合真實呈現設備，用于對合成現實空間圖像和虛擬空間圖像進行合成，并呈現合成圖像，所述混合真實呈現設備包括：位置和方位信息獲取單元，用于獲取表示觀察者的視點與現實空間中的現實空間物體之間的相對的位置和方位關系的位置和方位信息；繪制單元，用于基于由所述位置和方位信息獲取單元所獲取的所述位置和方位信息生成虛擬空間圖像，并在存儲器上繪制所生成的所述虛擬空間圖像；獲取單元，用于獲取所述現實空間物體的現實空間圖像；合成單元，用于通過在已繪制了所述虛擬空間圖像的存儲器中，繪制由所述獲取單元獲取的所述現實空間圖像，來對所述現實空間圖像和所生成的所述虛擬空間圖像進行合成；以及輸出單元，用于輸出由所述合成單元獲得的合成圖像。