[發(fā)明專利]基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法

在審

• 申請?zhí)枺?/td>: 202211211144.2
• 申請日: 2022-09-30
• 公開（公告）號(hào): CN115567723A
• 公開（公告）日: 2023-01-03
• 發(fā)明（設(shè)計(jì)）人: 黃來響;李寧;馬玉廣;茍振興
• 申請（專利權(quán)）人: 遙在（山東）數(shù)字科技有限公司
• 主分類號(hào): H04N19/85
• 分類號(hào): H04N19/85;H04N19/30;H04N13/239;H04N13/388;G06T3/40;G06T7/11;G06T19/00
• 代理公司: 山東智達(dá)聯(lián)合專利代理事務(wù)所(普通合伙) 37303
• 代理人: 李曉偉

本發(fā)明適用于虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其涉及基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法，所述方法包括：采集全景圖像，對全景圖像進(jìn)行裁剪和拼接，得到全景拼接圖像并進(jìn)行編碼傳輸；播放端對全景拼接圖像進(jìn)行解碼，拆解得到一組外層圖像和一組內(nèi)層圖像；對外層圖像和內(nèi)層圖像進(jìn)行疊加顯示，更新內(nèi)層圖像的顯示內(nèi)容，若用戶視角范圍內(nèi)的內(nèi)層圖像尚未送達(dá)，則該區(qū)域則顯示外層圖像。本發(fā)明解決了VR全景視頻中，全部傳輸視頻帶來的數(shù)據(jù)浪費(fèi)，有效信息過少的問題，同時(shí)也解決了使用云臺(tái)同步雙目攝像頭方案中，因?yàn)檠舆t給用戶帶來的眩暈感。關(guān)鍵點(diǎn)在于使用低清圖像解決響應(yīng)不及時(shí)的眩暈感，高清分區(qū)圖像解決全尺寸視頻數(shù)據(jù)冗余。

技術(shù)領(lǐng)域

本發(fā)明屬于虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其涉及基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法。

背景技術(shù)

VR是Virtual Reality的縮寫，中文的意思就是虛擬現(xiàn)實(shí)，虛擬現(xiàn)實(shí)是多媒體技術(shù)的終極應(yīng)用形式，它是計(jì)算機(jī)軟硬件技術(shù)、傳感技術(shù)、機(jī)器人技術(shù)、人工智能及行為心理學(xué)等科學(xué)領(lǐng)域飛速發(fā)展的結(jié)晶。主要依賴于三維實(shí)時(shí)圖形顯示、三維定位跟蹤、觸覺傳感技術(shù)、人工智能技術(shù)、高速計(jì)算與并行計(jì)算技術(shù)以及人的行為學(xué)研究等多項(xiàng)關(guān)鍵技術(shù)的發(fā)展。隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，真正地實(shí)現(xiàn)虛擬現(xiàn)實(shí)，將引起整個(gè)人類生活與發(fā)展的很大變革。

用戶在觀看虛擬現(xiàn)實(shí)(virtual reality，VR)、自由視角視頻以及多視角等場景時(shí)，可以自由選擇觀看視角，從而觀看視頻的不同部分的畫面。其中，當(dāng)用戶從一個(gè)觀看視角切換到另一個(gè)觀看視角時(shí)，通常稱為視角移動(dòng)。VR視頻通常會(huì)是通過360度全景拍攝設(shè)備拍攝全景視頻，而全景拍攝設(shè)備是通過多個(gè)攝像頭拍攝出不同角度的視頻片段，對視頻片段進(jìn)行拼接之后得到的全景視頻。

在現(xiàn)有技術(shù)中，由于傳輸系統(tǒng)、云臺(tái)機(jī)械結(jié)構(gòu)的延遲，在視角移動(dòng)時(shí)，視頻圖像的顯示區(qū)域不能實(shí)時(shí)隨之發(fā)生變化，使得用戶視覺觀察到的狀態(tài)和身體真實(shí)狀態(tài)之間不一致，很容易帶來眩暈感。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法，旨在解決現(xiàn)有技術(shù)中，由于傳輸系統(tǒng)、云臺(tái)機(jī)械結(jié)構(gòu)的延遲，在視角移動(dòng)時(shí)，視頻圖像的顯示區(qū)域不能實(shí)時(shí)隨之發(fā)生變化，使得用戶視覺觀察到的狀態(tài)和身體真實(shí)狀態(tài)之間不一致，很容易帶來眩暈感的問題。

本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種基于多層圖像緩沖和分區(qū)圖像編碼的視頻傳輸顯示方法，所述方法包括：

采集全景圖像，對全景圖像進(jìn)行裁剪和拼接，得到全景拼接圖像并進(jìn)行編碼傳輸；

播放端對全景拼接圖像進(jìn)行解碼，拆解得到一組外層圖像和一組內(nèi)層圖像，所述外層圖像的分辨率低于內(nèi)層圖像；

對外層圖像和內(nèi)層圖像進(jìn)行疊加顯示，根據(jù)用戶的視角信息更新內(nèi)層圖像的顯示內(nèi)容，若用戶視角范圍內(nèi)的內(nèi)層圖像尚未送達(dá)，則該區(qū)域則顯示外層圖像。

優(yōu)選的，所述全景圖像采用雙目攝像頭進(jìn)行采集，每次采集得到兩組全景圖像。

優(yōu)選的，所述對全景圖像進(jìn)行裁剪和拼接，得到全景拼接圖像的步驟，具體包括：

將兩組全景圖像進(jìn)行拼接，得到第一拼接圖像；

對第一拼接圖像進(jìn)行降采樣，得到第一圖像；

對全景圖像中用戶視野所覆蓋的區(qū)域進(jìn)行裁剪，并進(jìn)行拼接，得到第二圖像；

對第一圖像和第二圖像進(jìn)行拼接，得到全景拼接圖像。

優(yōu)選的，所述對外層圖像和內(nèi)層圖像進(jìn)行疊加顯示，根據(jù)用戶的視角信息更新內(nèi)層圖像的顯示內(nèi)容的步驟中，用戶在視角進(jìn)行移動(dòng)時(shí)，獲取用戶的位置和旋轉(zhuǎn)信息后，計(jì)算用戶的視角朝向，并將其解算為2D圖像中的視角偏移坐標(biāo)，根據(jù)視角偏移坐標(biāo)進(jìn)行重新采樣，得到更新后的內(nèi)層圖像，并進(jìn)行顯示。

優(yōu)選的，進(jìn)行顯示時(shí)，在3D引擎中，構(gòu)建球體，將內(nèi)層圖像和外層圖像作為材質(zhì)貼到球體上，且內(nèi)層圖像位于內(nèi)側(cè)，外層圖像位于外側(cè)，用戶視角置于球體中心位置。