[發(fā)明專利]一種靜態(tài)點云服務(wù)器碼率自適應(yīng)傳輸方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110269265.1
• 申請日: 2021-03-12
• 公開（公告）號: CN113115077B
• 公開（公告）日: 2022-04-26
• 發(fā)明（設(shè)計）人: 李成林;王麗莎;戴文睿;鄒君妮;熊紅凱
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: H04N21/238
• 分類號: H04N21/238
• 代理公司: 上海恒慧知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 徐紅銀

本發(fā)明公開了一種靜態(tài)點云服務(wù)器端碼率自適應(yīng)傳輸方法及系統(tǒng)，該方法包括：服務(wù)器端將靜態(tài)點云劃分為3D空間切片；用戶端將用戶觀看信息以及顯示屏幕分辨率實時反饋給服務(wù)器端，并從服務(wù)器端下載可分配給每個3D空間切片的碼率版本全集；服務(wù)器端根據(jù)用戶觀看信息以及顯示屏幕分辨率計算出每一個空間切片的QoE貢獻；并采用空間切片組成的全集、空間切片的碼率版本全集、網(wǎng)絡(luò)資源限制、每一個空間切片的QoE貢獻，建立基于空間切片的碼率自適應(yīng)分配的優(yōu)化問題，得到最優(yōu)空間切片碼率版本子集。系統(tǒng)包括：用戶端、服務(wù)器端，對應(yīng)實現(xiàn)上述功能。通過本發(fā)明，提高了靜態(tài)點云傳輸?shù)膸捓寐剩瑸橛脩籼峁└玫馁|(zhì)量體驗。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻通信技術(shù)領(lǐng)域，特別涉及一種靜態(tài)點云服務(wù)器碼率自適應(yīng)傳輸方法及系統(tǒng)。

背景技術(shù)

隨著3D傳感與采集系統(tǒng)的迅猛發(fā)展，虛擬現(xiàn)實(VR)，增強現(xiàn)實(AR)等一系列新興技術(shù)的興起與普及，由于支持6個自由度而能夠給用戶極致身臨其境體驗的點云，作為一種新型媒體數(shù)據(jù)正在逐漸成為科學(xué)研究的熱點。用戶在觀看點云場景時，不僅可以任意改變觀看方向，還可以自由改變空間位置，因此，點云傳輸對于增強用戶的沉浸式體驗具有重大意義。然而，點云往往數(shù)據(jù)量巨大，非常消耗帶寬資源，為在當前網(wǎng)絡(luò)環(huán)境下的傳輸帶來巨大的挑戰(zhàn)。

為了解決傳輸點云為網(wǎng)絡(luò)帶寬帶來的挑戰(zhàn)，根據(jù)點云對象對用戶QoE的貢獻自適應(yīng)分配碼率，為QoE貢獻大的點云分配較大的碼率，為QoE貢獻小的點云分配較小的碼率，從而在有限的帶寬資源下為用戶提供盡可能高的質(zhì)量體驗。影響點云QoE貢獻的因素主要有以下五點：(1)點云是否在用戶的視域體里；(2)點云和用戶之間的距離；(3)點云之間的遮擋；(4)分配給點云的碼率版本；(5)顯示屏幕分辨率。具體地，對于不可見點云(點云不在用戶視域體里或者被完全遮擋)，QoE貢獻為零；對于可見點云，QoE貢獻隨點云到用戶之間距離的增大而減小，并且受顯示屏幕分辨率的限制。此外，點云的碼率版本越高，質(zhì)量表示越高，從而QoE貢獻越大。

經(jīng)過對現(xiàn)有技術(shù)的檢索發(fā)現(xiàn)，Hooft等人在2019年的《ACM MultimediaConference》會議上發(fā)表了題為“Towards 6DoF HTTP Adaptive Streaming ThroughPoint Cloud Compression”的文章，該文章針對多個點云組成的場景，以單個點云為碼率分配的基本單元進行傳輸。依據(jù)點云是否在用戶視口范圍里以及到用戶之間的距離分別提出了四個指標來判斷每個點云的優(yōu)先級，在此基礎(chǔ)上提出了三種碼率自適應(yīng)啟發(fā)式算法。但是該文章涉及的應(yīng)用場景不包括單個點云，在判斷點云優(yōu)先級的時候沒有考慮點云之間的遮擋和顯示屏幕分辨率的影響，并且指標不具備通用性，針對不同的場景需要選擇不同的指標。

經(jīng)檢索還發(fā)現(xiàn)，Park等人在2019年的《IEEE Journal on Emerging and SelectedTopics in Circuits and Systems》期刊上發(fā)表了題為“Rate-Utility OptimizedStreaming of Volumetric Media for Augmented Reality”的文章，該文章以3D空間切片為碼率分配的基本單元進行傳輸，既適用于單個點云，也適用于多個點云組成的場景。依據(jù)空間切片是否在用戶視域體里，空間切片到用戶之間的距離，空間切片的碼率版本和顯示屏幕分辨率定義每個切片的效用，在此基礎(chǔ)上提出了基于貪婪算法的碼率分配機制。但是該文章在定義切片效用時沒有考慮切片之間的遮擋，并且沒有進行用戶視覺方面的質(zhì)量評價。

此外，上述工作的碼率自適應(yīng)算法都是啟發(fā)式算法，缺乏對算法性能的理論保證。

發(fā)明內(nèi)容

本發(fā)明針對上述現(xiàn)有技術(shù)中存在的問題，提出一種靜態(tài)點云服務(wù)器碼率自適應(yīng)傳輸方法及系統(tǒng)，提高了靜態(tài)點云傳輸?shù)膸捓寐剩瑸橛脩籼峁└玫馁|(zhì)量體驗。

為解決上述技術(shù)問題，本發(fā)明是通過如下技術(shù)方案實現(xiàn)的：

本發(fā)明提供一種靜態(tài)點云服務(wù)器碼率自適應(yīng)傳輸方法，其包括：