[發(fā)明專利]基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法

在審

• 申請?zhí)枺?/td>: 202211211144.2
• 申請日: 2022-09-30
• 公開（公告）號: CN115567723A
• 公開（公告）日: 2023-01-03
• 發(fā)明（設(shè)計(jì)）人: 黃來響;李寧;馬玉廣;茍振興
• 申請（專利權(quán)）人: 遙在（山東）數(shù)字科技有限公司
• 主分類號: H04N19/85
• 分類號: H04N19/85;H04N19/30;H04N13/239;H04N13/388;G06T3/40;G06T7/11;G06T19/00
• 代理公司: 山東智達(dá)聯(lián)合專利代理事務(wù)所(普通合伙) 37303
• 代理人: 李曉偉

1.一種基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法，其特征在于，所述方法包括：

采集全景圖像，對全景圖像進(jìn)行裁剪和拼接，得到全景拼接圖像并進(jìn)行編碼傳輸；

播放端對全景拼接圖像進(jìn)行解碼，拆解得到一組外層圖像和一組內(nèi)層圖像，所述外層圖像的分辨率低于內(nèi)層圖像；

對外層圖像和內(nèi)層圖像進(jìn)行疊加顯示，根據(jù)用戶的視角信息更新內(nèi)層圖像的顯示內(nèi)容，若用戶視角范圍內(nèi)的內(nèi)層圖像尚未送達(dá)，則該區(qū)域則顯示外層圖像。

2.根據(jù)權(quán)利要求1所述的基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法，其特征在于，所述全景圖像采用雙目攝像頭進(jìn)行采集，每次采集得到兩組全景圖像。

3.根據(jù)權(quán)利要求1所述的基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法，其特征在于，所述對全景圖像進(jìn)行裁剪和拼接，得到全景拼接圖像的步驟，具體包括：

將兩組全景圖像進(jìn)行拼接，得到第一拼接圖像；

對第一拼接圖像進(jìn)行降采樣，得到第一圖像；

對全景圖像中用戶視野所覆蓋的區(qū)域進(jìn)行裁剪，并進(jìn)行拼接，得到第二圖像；

對第一圖像和第二圖像進(jìn)行拼接，得到全景拼接圖像。

4.根據(jù)權(quán)利要求3所述的基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法，其特征在于，所述對外層圖像和內(nèi)層圖像進(jìn)行疊加顯示，根據(jù)用戶的視角信息更新內(nèi)層圖像的顯示內(nèi)容的步驟中，用戶在視角進(jìn)行移動(dòng)時(shí)，獲取用戶的位置和旋轉(zhuǎn)信息后，計(jì)算用戶的視角朝向，并將其解算為2D圖像中的視角偏移坐標(biāo)，根據(jù)視角偏移坐標(biāo)進(jìn)行重新采樣，得到更新后的內(nèi)層圖像，并進(jìn)行顯示。

5.根據(jù)權(quán)利要求3所述的基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法，其特征在于，進(jìn)行顯示時(shí)，在3D引擎中，構(gòu)建球體，將內(nèi)層圖像和外層圖像作為材質(zhì)貼到球體上，且內(nèi)層圖像位于內(nèi)側(cè)，外層圖像位于外側(cè)，用戶視角置于球體中心位置。

6.根據(jù)權(quán)利要求3所述的基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法，其特征在于，所述內(nèi)層圖像中未加載的區(qū)域未透明狀態(tài)。

7.根據(jù)權(quán)利要求5所述的基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法，其特征在于，若不需要輸出VR視頻，則構(gòu)建平面，將內(nèi)層圖像和外層圖像作為材質(zhì)貼到平面上，內(nèi)層圖像位于內(nèi)側(cè)，外層圖像位于外側(cè)，用戶視角則垂直于平面，且用戶視角設(shè)置在內(nèi)層圖像遠(yuǎn)離外層圖像的一側(cè)。