[發明專利]用于增強視頻圖像的設備和方法

有效

• 申請號: 201310211270.2
• 申請日: 2013-05-31
• 公開（公告）號: CN103455978B
• 公開（公告）日: 2018-02-02
• 發明（設計）人: G.D.克萊默;T.E.盧卡斯-伍德利;W.O.賽克斯;A.R.薩法里阿澤阿拉姆達利
• 申請（專利權）人: 索尼互動娛樂歐洲有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 北京市柳沈律師事務所11105
• 代理人: 于小寧

技術領域

本發明涉及用于增強視頻圖像的設備和方法。

背景技術

典型的增強現實(或者“AR”)應用或系統接收實際環境的實況或記錄的視頻圖像，且然后以下述方式以計算機圖形增強這些視頻圖像，即計算圖形顯得在視頻圖像中以與實際環境的移動或位置一致的方式移動或定位。

效果是以一致和可信的方式將計算機圖形(或者“虛擬物體”)插入實際環境中。優選地，這實時進行；就是說，以正常視頻幀速率執行視頻的生成和增強。可以在PlayStation或者的游戲中看到其示例。

大多數AR應用或系統通過在其外觀和維度已知的環境中利用實際物體且隨后預先將該物體的外觀和維度編碼為計算機中的基準模型來實現此。通過比較視頻圖像中找到的該物體的規模和定向與基準模型，計算機可以計算應該應用于用于增強該圖像的虛擬物體的相應規模和定向。

為了在不利的光照條件下，或者在使用中的視頻相機具有低分辨率時改進該處理的可靠性，通常使用的實際物體是所謂的參照標記800，其示例如圖1所示。這種標記典型地具有高對比度邊界和圖形以改進對光照的魯棒性，且圖形典型地是非對稱的以幫助解決標記的定向。

隨后，AR應用對視頻圖像的增強通常將計算機圖形定位于參照標記之上，以使得在用戶實現信任的中止；例如，如果標記放置在平坦表面上，那么整個平坦表面可以與圖形效果重疊(比如跑道或者運動場等)。在這種情況下，如果用戶希望與該平坦表面頂部的實際或虛擬物體交互，那么AR應用能夠標識用戶的皮膚色調并在重疊的計算機圖形與視頻圖像中用戶的皮膚一致時省略(或遮蔽掉)該重疊的計算機圖形，由此使得用戶的皮膚(例如，用戶的手)顯得在圖形層的前面。

但是，通常皮膚色調的標識的精確度可能相對差，導致用戶的手在計算機圖形上的過度渲染(noisy)或者不調和的遮蔽(patchy masking)。

發明內容

本發明尋求解決或緩解上述問題。

在第一方面中，根據權利要求1提供增強視頻圖像的方法。

在另一方面中，根據權利要求9提供娛樂裝置。

在另一方面中，根據權利要求15提供增強的現實系統

本發明的另外的各個方面和特征在所附權利要求中限定。

附圖說明

現在將通過參考附圖以示例的方式描述本發明的實施例。

圖1是參照標記的示意圖；

圖2是根據本發明實施例的娛樂裝置的示意圖；

圖3A是根據本發明實施例的書的示意圖；

圖3B是根據本發明實施例的增強的書的捕獲的視頻圖像的示意圖；

圖4A是根據本發明實施例的書的捕獲的視頻圖像的示意圖；

圖4B是根據本發明實施例的遮蔽物的示意圖；

圖4C是根據本發明實施例的增強的書的捕獲的視頻圖像的示意圖；

圖5是以計算機圖形增強的捕獲的視頻圖像的示意圖；

圖6是根據本發明實施例的遮蔽物的示意圖；

圖7是根據本發明實施例的增強視頻圖像的方法的流程圖。

具體實施方式

公開了增強視頻圖像的設備和方法。在下面描述中，呈現多個特定細節以提供本發明實施例的全面理解。但是，對于本領域技術人員來說很明顯不需要采用這些特定細節來實踐本發明。相反地，為了清楚的目的在適當時省略本領域技術人員已知的特定細節。

如上所述，是用于實現增強現實的適當設備或娛樂裝置，典型地當連接到比如EyeToy的適當的視頻相機時，或者當在適當的軟件控制(比如AR應用)下操作時。

圖2示意性地圖示已知為PlayStation娛樂裝置或者的適當的娛樂裝置的整個系統架構。PS3包括系統單元10，如下詳細所述地，包括視頻相機的外圍裝置可連接到該系統單元10。

系統單元10包括：單元處理器100；動態隨機存取存儲器(SDRAM)單元500；具有專用視頻隨機存取存儲器(VRAM)單元250的現實合成器圖形單元200；和I/O橋接器700。

系統單元10還包括通過I/O橋接器700可訪問的用于從盤440讀取的光盤讀取器430和可拆卸插槽式硬盤驅動器(HDD)400。可選地，系統單元還包括用于讀取致密閃存儲存儲卡的、儲存卡等的存儲卡讀取器450，其類似地通過I/O橋接器700可訪問。