[發明專利]一種基于模型預測控制的點云視頻流自適應傳輸方法

有效

• 申請號: 202110709837.3
• 申請日: 2021-06-25
• 公開（公告）號: CN113395603B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 黎潔;王慧宇;李奇越;張聰;王梟;陳勇;彭濤;韓玲
• 申請（專利權）人: 合肥工業大學
• 主分類號: H04N21/81
• 分類號: H04N21/81;H04N19/176;H04N19/597;H04N19/186;H04N21/234;H04N21/2662
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于模型預測控制的點云視頻流自適應傳輸方法，包括：1.將每幀的點云視頻在空間上進行均勻切分，并將每個切塊壓縮編碼成不同質量等級的版本；2.將點云視頻序列幀在時間上分組，以幀組為最小單位；3.將不同質量等級的切塊儲存在服務器中，并生成其描述文件；4.服務器端根據MPC算法，并以構造的QOE作為目標函數，選取下一幀組要下載的合適的質量等級，以保證QOE目標函數盡可能大；5.客戶端合適的切塊后將其解碼，融合，渲染然后即時播放。本發明能夠在網絡環境波動的情況下有一定的預見性，穩定控制buffer，并減少凍結、頻繁的質量切換等嚴重影響用戶觀看體驗地發生次數，以保證用戶觀看體驗。

技術領域

本發明涉及多媒體視頻傳輸領域，具體的說是一種針對點云視頻的流媒體自適應傳輸方法，適用于在無線網絡環境下，優化端到端的點云視頻傳輸流程。

背景技術

基于體積的點云視頻是三維影像的一個分支，由于對比其基于圖像的另外一個分支，點云有這更小的數據量，更先進的壓縮方式，更少的采樣相機，占用更小的傳輸帶寬而有較廣泛的應用。然而，即便如此，點云視頻由于相當于二維傳統視頻增加一個維度，需要記錄點的三維信息，因此其原始數據量大小遠遠大于傳統二維視頻。縱使近年來研究點云壓縮十分火熱，壓縮后的點云仍然具有很大的數據量，以及造成客戶端需要花費更多時間來進行解碼。點云視頻流在無線傳輸方面有較大發展空間，但由于網絡環境的波動，導致帶寬頻繁波動，出現凍結等負面情況，用戶觀看體驗難以達到最大化。

黑莓有限公司的S.拉瑟雷等人，發明了一種對點云進行編碼以生成壓縮后的點云數據的比特流的方法(公開號：CN112789803A)，其方法包括，所述點云在具有多個節點的樹形結構中被定義,所述多個節點具有父子關系并且所述多個節點表示體積空間的幾何形狀,所述體積空間被遞歸地拆分成子體積并且包含所述點云的點,其中使用比特序列來指示體積的子體積的占用,其中所述比特序列的每個比特指示相應子體積在所述體積內按掃描順序的占用,并且其中體積具有多個鄰近體積,以產生用于所述比特流的編碼數據。但該算法沒有將幀間編碼考慮進去，只考慮單幀壓縮沒考慮多幀壓縮，從而導致了壓縮效率低下。

上海交通大學的徐異凌等人，發明了一種基于3D點云數據的分視角壓縮方法及系統。其特征在于,包括如下步驟：發送步驟：從掃描設備獲取點云數據,將點云數據中的點進行規則化,生成多路視頻,并存放于服務器內；動態傳輸步驟：根據視角請求,將存放于服務器內的多路視頻進行3D重建；根據傳輸指令,將多路視頻構成相應視頻組合；接收步驟：根據當前視頻組合,對視頻組合中的點云數據進行重建,并呈現至播放器中；所述發送步驟包括如下子步驟：點規則化步驟：從掃描設備獲取點云數據,采用八叉樹結構將點云數據中的點排布在體素中,進而對點云數據進行規則化,生成空間體素；所述高碼率版本多路視頻的清晰度高于低碼率版本多路視頻的清晰度。但該系統只考慮的點云的采樣，編解碼，和融合。但使該方法沒有考慮點云傳輸過程中所需的高帶寬，高解碼時間對用戶實際觀看體驗造成的影響。

上海交通大學的徐異凌等人，發明了一種點云分視角傳輸的編碼方法，系統及介質。其特征在于，包括：點云片段確定步驟：根據觀測視角來確定對應的點云片段,獲得一系列被劃分到對應視角類別的點云片段；分視角傳輸編碼步驟：根據獲得的一系列被劃分到對應視角類別的點云片段,采用分視角傳輸方案,對于需要觀測到的視角進行高清晰度的編碼傳輸,對于不需要被觀察得到的視角進行較低清晰度的編碼傳輸。但是點云視頻的用戶的實際視角不一定和觀測視角完全匹配，可能使視頻觀看體驗下降，也沒有考慮實際應用中網絡波動對傳輸過程造成的影響。

發明內容

本發明是為避免上述現有技術所存在的不足之處，提供一種基于模型預測控制的點云視頻流自適應傳輸方法，以期在網絡環境波動的情況下有一定的預見性，減少視頻凍結、頻繁質量切換等問題出現的次數，使buffer更穩定，從而保證在各種條件和約束下最大化用戶地觀看體驗QOE。

本發明為解決技術問題采用如下技術方案：