[發(fā)明專利]傳輸全景視頻方法、裝置、存儲(chǔ)介質(zhì)以及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202211422386.6
• 申請(qǐng)日: 2022-11-14
• 公開（公告）號(hào): CN115776564A
• 公開（公告）日: 2023-03-10
• 發(fā)明（設(shè)計(jì)）人: 李武璇;胡立賢;謝苑;朱雄增
• 申請(qǐng)（專利權(quán)）人: 中國電信股份有限公司
• 主分類號(hào): H04N19/126
• 分類號(hào): H04N19/126;H04N19/37;H04N19/176;H04N21/2187
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 董文倩

本申請(qǐng)公開了一種傳輸全景視頻方法、裝置、存儲(chǔ)介質(zhì)以及電子設(shè)備。其中，該方法包括：接收來自發(fā)送端設(shè)備的視頻流，并將視頻流分解為圖像集；根據(jù)用戶視域?qū)D像集中的圖像進(jìn)行區(qū)域劃分，得到不同類型的圖像區(qū)域，其中，不同類型的區(qū)域各自所對(duì)應(yīng)的視域不同；確定不同的圖像區(qū)域中的目標(biāo)類型區(qū)域，對(duì)目標(biāo)類型區(qū)域進(jìn)行編碼，將編碼后的目標(biāo)類型區(qū)域進(jìn)行分塊，得到多個(gè)塊圖像；對(duì)多個(gè)塊圖像采用不同的量化步長(zhǎng)進(jìn)行壓縮，得到目標(biāo)塊圖像；將目標(biāo)塊圖像及其他圖像區(qū)域發(fā)送至接收端設(shè)備。本申請(qǐng)解決了由于采用均勻量化步長(zhǎng)傳輸全景視頻造成的在實(shí)時(shí)傳輸全景視頻時(shí)不合理占用信道及浪費(fèi)資源的技術(shù)問題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及視頻編解碼領(lǐng)域，具體而言，涉及一種傳輸全景視頻方法、裝置、存儲(chǔ)介質(zhì)以及電子設(shè)備。

背景技術(shù)

在5G通信及千兆光網(wǎng)時(shí)代中，越來越多人使用虛擬現(xiàn)實(shí)VR技術(shù)進(jìn)行娛樂、工作。全景視頻直播是VR技術(shù)的重要體現(xiàn)方式，全景視頻直播相比傳統(tǒng)視頻直播，全景視頻的分辨率及幀率更高，其需要傳輸?shù)臄?shù)據(jù)量也更大，在信道中傳輸時(shí)會(huì)占用更多的帶寬資源。全景視頻直播在壓縮、傳輸、接收時(shí)的編解碼方式直接影響到了用戶的觀看體驗(yàn)。

當(dāng)前對(duì)全景視頻直播通常采用均勻量化步長(zhǎng)進(jìn)行傳輸，但由于不同用戶的信道傳輸條件不同，同一信道在不同時(shí)間下的傳輸條件也不同，若按照恒定不變的壓縮處理單元及編碼方式來對(duì)內(nèi)容進(jìn)行編碼，會(huì)造成不合理占用信道及浪費(fèi)資源，在實(shí)時(shí)傳輸全景視頻的場(chǎng)景下采用均勻量化步長(zhǎng)的傳輸方式缺點(diǎn)更為突出。

且對(duì)于分辨率更高的全景視頻來說，與平面視頻同用H.264方案編碼，其處理單元將急劇增加，導(dǎo)致冗余信息增加，壓縮效率降低。

針對(duì)上述的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種傳輸全景視頻方法、裝置、存儲(chǔ)介質(zhì)以及電子設(shè)備，以至少解決由于采用均勻量化步長(zhǎng)傳輸全景視頻造成的在實(shí)時(shí)傳輸全景視頻時(shí)不合理占用信道及浪費(fèi)資源的技術(shù)問題。

根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種傳輸全景視頻方法，包括：接收來自發(fā)送端設(shè)備的視頻流，并將視頻流分解為圖像集；根據(jù)用戶視域?qū)D像集中的圖像進(jìn)行區(qū)域劃分，得到不同類型的圖像區(qū)域，其中，不同類型的區(qū)域各自所對(duì)應(yīng)的視域不同；確定不同的圖像區(qū)域中的目標(biāo)類型區(qū)域，對(duì)目標(biāo)類型區(qū)域進(jìn)行編碼，將編碼后的目標(biāo)類型區(qū)域進(jìn)行分塊，得到多個(gè)塊圖像，其中，多個(gè)塊圖像的人眼視覺敏感度不同；對(duì)多個(gè)塊圖像采用不同的量化步長(zhǎng)進(jìn)行壓縮，得到目標(biāo)塊圖像；將目標(biāo)塊圖像及其他圖像區(qū)域發(fā)送至接收端設(shè)備。

可選地，不同類型的圖像區(qū)域包括：第一類型區(qū)域、第二類型區(qū)域及第三類型區(qū)域，其中，第一類型區(qū)域、第二類型區(qū)域和第三類型區(qū)域的視域范圍依次增大。

可選地，對(duì)目標(biāo)類型區(qū)域進(jìn)行編碼之前，還包括：對(duì)第一類型區(qū)域、第二類型區(qū)域及第三類型區(qū)域進(jìn)行離散余弦變換編碼，并對(duì)離散余弦系數(shù)進(jìn)行濾波處理；根據(jù)人眼最小可察覺失真算法確定第一類型區(qū)域、第二類型區(qū)域及第三類型區(qū)域各自對(duì)應(yīng)的不同閾值；根據(jù)離散余弦系數(shù)與閾值的大小關(guān)系分別確定第一類型區(qū)域、第二類型區(qū)域及第三類型區(qū)域中的冗余區(qū)域；清除冗余區(qū)域。

可選地，將編碼后的目標(biāo)類型區(qū)域進(jìn)行分塊，包括：對(duì)交流系數(shù)能量進(jìn)行HVS視覺函數(shù)加權(quán)，得到判斷系數(shù)，其中，交流系數(shù)能量由離散余弦變換編碼得到；根據(jù)判斷系數(shù)將編碼后的目標(biāo)類型區(qū)域進(jìn)行分塊，其中，目標(biāo)類型區(qū)域?yàn)榈谝活愋蛥^(qū)域。

可選地，對(duì)多個(gè)塊圖像采用不同的量化步長(zhǎng)進(jìn)行壓縮，包括：根據(jù)不同第一類型區(qū)域塊，以判斷系數(shù)和總交流系數(shù)平均值為變量建立歸一化函數(shù)；根據(jù)歸一化函數(shù)所限定的數(shù)值范圍，確定不同第一類型區(qū)域塊的量化步長(zhǎng)；根據(jù)人眼對(duì)不同第一類型區(qū)域塊的敏感度選取量化步長(zhǎng)，根據(jù)量化步長(zhǎng)對(duì)不同第一類型區(qū)域塊進(jìn)行壓縮。

可選地，根據(jù)人眼對(duì)不同第一類型區(qū)域塊的敏感度選取量化步長(zhǎng)，包括：對(duì)于人眼高敏感區(qū)域?qū)?yīng)的第一類型區(qū)域塊，選取第一量化步長(zhǎng)；對(duì)于人眼低敏感區(qū)域?qū)?yīng)的第一類型區(qū)域塊，選取第二量化步長(zhǎng)，其中，第一量化步長(zhǎng)小于第二量化步長(zhǎng)。