[發明專利]檢測真實世界光源的方法、混合實境系統及記錄介質

在審

• 申請號: 202010059174.0
• 申請日: 2020-01-16
• 公開（公告）號: CN111489448A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 林奕瑱
• 申請（專利權）人: 宏達國際電子股份有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T15/50
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 徐協成

本發明公開一種檢測真實世界光源的方法、混合實境系統及記錄介質。此方法適用于具有計算裝置及頭戴式顯示器的混合實境系統。此方法分析多個連續圖像的多個光線區域，并根據對應連續圖像的頭戴式顯示器的坐標位置投影每一光線區域產生三維向量。之后，將三維向量進行分群，以預測當前圖像中的方向光。最后，計算三維向量之間的多個交集點，并根據交集點預測當前圖像中的點光源。

技術領域

本發明涉及一種混合實境的技術，且特別涉及一種混合實境中檢測真實世界光源的方法、混合實境系統及記錄介質。

背景技術

混合實境(Mixed Reality，MR)是一種利用計算機模擬技術將虛擬世界迭加或融合于真實世界產生三維空間中混合世界的技術。藉由將虛擬畫面顯示在使用者配戴的頭戴式顯示器(head-mounted display，HMD)上，使用者可同時觀看到真實世界的物理實體和數字虛擬物體共存，而可提供一個以視覺為主且結合聽覺、觸覺等感知的混合環境。體驗混合實境的使用者如同身處在真實世界，并可以與混合環境中的物理實體或虛擬物體互動。

真實世界的物理實體和虛擬物體會共存在混合環境，為了渲染出符合真實世界的虛擬物體，在建立混合環境時需要建立真實世界的光線數據。一般來說，真實世界的光線數據可以通過當前圖框的圖像強度(intensity)的平均值及當前圖框的色溫(colortemperature)的平均值來產生。然而，利用當前圖框強度的平均值及色溫的平均值來決定光線數據，虛擬物體所受的照光在混合環境中的任何位置都會相同。因此，會造成在虛擬物體接近光源而單側所受的照光較強時，虛擬物體所受的照光無法符合物體在真實世界中實際所受的照光的情形，并且也無法產生符合實際照光的陰影，而使得虛擬物體沒有真實感。

發明內容

有鑒于此，本發明提供一種混合實境中檢測真實世界光源的方法、混合實境系統及記錄介質，其可利用圖像檢測方向光(directional light)與點光源(point light)在混合實境空間中的位置以產生光線數據。

本發明提供一種混合實境中檢測真實世界光源的方法，適用于具有計算裝置及頭戴式顯示器的混合實境系統，其中所述頭戴式顯示器包括圖像提取裝置，所述方法包括下列步驟：分析多個連續圖像的多個光線區域，并根據對應所述連續圖像的所述頭戴式顯示器的坐標位置投影每一所述光線區域產生三維向量，其中所述連續圖像包括當前圖像；將所述三維向量進行分群，以預測所述當前圖像中的方向光；以及計算所述三維向量之間的多個交集點，并根據所述交集點預測所述當前圖像中的點光源。

在本發明的一實施例中，上述的分析所述連續圖像的所述光線區域的步驟包括：根據所述連續圖像的亮度分割所述連續圖像，以產生多個候選區域；以及選擇像素的平均亮度大于亮度閾值的所述候選區域作為所述光線區域。

在本發明的一實施例中，上述的根據對應所述連續圖像的所述頭戴式顯示器的所述坐標位置投影每一所述光線區域產生所述三維向量的步驟包括：根據對應所述連續圖像的所述頭戴式顯示器的所述坐標位置，利用對應所述連續圖像的所述圖像提取裝置的內部參數與姿態投影每一所述光線區域至三維空間，以獲取所述光線區域對應于所述頭戴式顯示器的所述三維向量。

在本發明的一實施例中，上述的將所述三維向量進行分群，以預測所述當前圖像中的所述方向光的步驟包括：利用分群法將所述三維向量進行分群，以產生多個光線分群；以及根據每一光線分群的信賴度與一信賴度閾值，從所述光線分群中決定所述方向光。

在本發明的一實施例中，上述的利用所述分群法分群所述三維向量的步驟包括：針對包括一方向向量的所述三維向量進行分群。

在本發明的一實施例中，上述的分群法包括K-means分群法或Mean-shift分群法。