[發明專利]基于XR技術的沉浸式互動直播構建方法、系統及介質

在審

• 申請號: 202210906282.6
• 申請日: 2022-07-29
• 公開（公告）號: CN115423916A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 蔡鐵峰
• 申請（專利權）人: 深圳職業技術學院
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T7/70;G06T7/55;G06F3/01;G06F9/50;G06Q50/20;H04N21/2187;G09B5/06
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙) 44248
• 代理人: 胡吉科

1.一種基于XR技術的沉浸式互動直播構建方法，其特征在于，所述方法包括以下步驟：

步驟S10：設定直播虛擬場景的直播三維成像區間以及直播虛擬場景坐標系與基準觀眾視場坐標系的旋轉縮放平移關系；

步驟S20:根據直播虛擬場景坐標系與基準觀眾視場坐標系的旋轉縮放平移關系，計算基準觀眾在直播虛擬場景中的瞳距與觀看位姿；

步驟S30：基于所述基準觀眾在直播虛擬場景中的瞳距與觀看位姿，渲染生成直播虛擬場景的直播三維成像區間的立體視覺直播畫面，并把立體視覺直播畫面發送給各觀眾；

步驟S40:任意觀眾接收立體視覺直播畫面，和/或立體視覺直播畫面與觀眾體驗空間其它體驗內容的立體視覺畫面合成為邊看虛擬場景直播邊進行其它內容體驗的立體視覺畫面，顯示給觀眾看。

2.根據權利要求1所述的方法，其特征在于，所述步驟S30生成的立體視覺直播畫面帶有深度信息，在所述步驟S40中，對于任意觀眾h_k，h_k接收的立體視覺直播畫面與其體驗空間其它體驗內容的立體視覺畫面合成為h_k邊看虛擬場景直播邊進行其它內容體驗的立體視覺畫面，在立體視覺直播畫面與h_k對其它內容體驗生成的立體視覺畫面合成時，需要根據各畫面在h_k視場的深度信息進行遮擋計算。

3.根據權利要求2所述的方法，其特征在于，在所述步驟S10設定的直播虛擬場景坐標系與基準觀眾視場坐標系的旋轉縮放平移關系中，直播虛擬場景s_m的坐標系到基準觀眾視場坐標系的縮放系數為λ_m，所述步驟S20計算出基準觀眾在直播虛擬場景s_m中的瞳距為其中為基準觀眾的實際瞳距，根據直播虛擬場景s_m坐標系與基準觀眾視場坐標系的旋轉縮放平移關系，計算基準觀眾在直播虛擬場景中的位姿，所述步驟S30根據基準觀眾在直播虛擬場景s_m的位姿與瞳距，生成立體視覺直播畫面，其中為立體視覺畫面的左眼圖像，為立體視覺畫面的右眼圖像，為對應的深度圖像，根據縮放系數λ_m，計算得到與在基準觀眾視場下的深度信息為深度圖像和所述步驟S40立體視覺直播畫面與觀眾體驗空間其它體驗內容的立體視覺畫面合成具體實現為：任意觀看場景s_m直播的觀眾h_k，接收到場景s_m的立體視覺直播畫面，h_k沉浸式體驗空間內其它體驗內容生成立體視覺體驗畫面左眼圖像為右眼圖像為與在h_k視場的深度信息為深度圖與h_k與基準觀眾瞳距比值為場景s_m的立體視覺直播畫面與在基準觀眾視場下的深度圖像與轉換成h_k視場的深度圖像立體視覺直播畫面與其它體驗內容生成的立體視覺體驗畫面根據深度圖像進行遮擋計算，生成合成畫面。

4.根據權利要求3所述的方法，其特征在于，所述步驟S10，設定直播虛擬場景的直播三維成像區間以及直播虛擬場景坐標系與基準觀眾視場坐標系的旋轉縮放平移關系具體包括：給直播虛擬場景s_m選定三維包圍盒Ω′_m，設定包圍盒Ω′_m在場景s_m中的位姿，包圍盒Ω′_m在場景s_m框選出一個三維區間Ω_m，Ω_m就是場景s_m的直播三維成像區間，設定包圍盒Ω′_m在基準觀眾視場的位姿與縮放關系，計算出所述虛擬場景s_m的直播三維成像區間Ω_m在基準觀眾視場中對應的三維顯示區間設定了包圍盒Ω′_m在直播虛擬場景s_m中的位姿以及Ω′_m在基準觀眾視場的位姿與縮放關系，也就是設定了直播虛擬場景s_m坐標系與基準觀眾視場坐標系的旋轉縮放平移關系。