[發明專利]一種AI驅動的實時點云視頻傳輸方法及系統

有效

• 申請號: 202110985757.0
• 申請日: 2021-08-26
• 公開（公告）號: CN113810736B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 喬秀全;黃亞坤;朱原瑋;陳俊亮
• 申請（專利權）人: 北京郵電大學
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N19/597
• 代理公司: 北京紐樂康知識產權代理事務所(普通合伙) 11210
• 代理人: 田磊

本發明公開了一種AI驅動的實時點云視頻傳輸方法及系統，該方法包括：利用AI生成設備獲取視頻數據信息，并對該視頻數據信息進行處理，得到點云視頻數據；對點云視頻數據進行分層特征提取，確定點云視頻幀中的關鍵點云特征，并傳輸該關鍵點云特征；接收的關鍵點云特征，并對接收的關鍵點云特征進行擴展與重構，獲得與原始輸入點云相似的點云信息，形成視覺效果上的原始點云視頻。本發明通過將原始需要傳輸的點云視頻流進行特征提取，只傳輸部分關鍵點云特征，最后在接收端進行恢復重建，達到視覺上傳輸的是原始點云視頻的效果，可以顯著降低點云視頻流的傳輸量和能耗，避免了傳統傳輸方案中繁瑣的多重處理，大大減少了數據傳輸量。

技術領域

本發明涉及點云視頻流傳輸領域，具體來說，涉及一種AI驅動的實時點云視頻傳輸方法及系統。

背景技術

點云是描述體積媒體和全息視頻的一種典型且受歡迎的數據格式，它可以由帶深度傳感器的RGB-D相機捕獲。它允許用戶體驗六個自由度的運動場景，并可以改變其中的位置和方向，像傳統的虛擬現實（Vitual Reality，簡稱VR）視頻中只有三個自由度。體積媒體提供了多個角度的3D場景，被廣泛應用于各個領域，包括教育、醫療、和娛樂等。

目前，即使包括5G在內的現有網絡環境中傳輸密集的點云流非常具有挑戰性，原因包括：（1）傳輸大量的點云視頻需要極高的帶寬，即使經過傳統的壓縮，也可能達到吉比特每秒（Gbps）的水平，超過了當前5G網絡的能力；（2）3D體積媒體的計算開銷很大，因為只能使用軟件編解碼器，低效率的編解碼器也會減慢傳輸速度；（3）傳統的技術例如自適應比特率視頻流（Adaptive Bitrate Streaming，簡稱ABR）的速率自適應和緩沖控制不適用于3D體積媒體，需要探索提供體積媒體的先進技術。

目前大多數現有的點云視頻傳輸技術可以通過傳統壓縮（包括提供有損和無損壓縮）來實現，減少需要傳輸的數據規模，但仍然存在諸多不足之處，如：一方面，點云視頻的無損壓縮技術仍然不足以實現高效傳輸和較好的用戶體驗。另一方面，在網絡條件有限的情況下，有損壓縮很難保證恢復的點云真實性與實際的原始視頻相匹配。其他的點云視頻傳輸技術，例如擴展當前VR視頻流的技術，在數據塊層次上進行傳輸，這些方法的移動能耗高，接收設備上的處理延遲往往也是不可接受的。另外，每個傳輸塊都容易受到網絡波動和重組過程中各種數據包丟失的影響。

綜上所述，傳統技術的傳輸能力遠遠不能滿足實時點云視頻流的帶寬要求。因此，有必要探索一種先進的傳輸方案，以保證在現有網絡下的提供良好的服務。

發明內容

針對相關技術中的問題，本發明提出一種AI驅動的實時點云視頻傳輸方法及系統，可以顯著降低點云視頻流的傳輸量和能耗。該系統避免了傳統傳輸方案中繁瑣的多重處理，設計并訓練了從原始數據采集到最終渲染和播放的端到端深度學習網絡。

本發明的技術方案是這樣實現的：

根據本發明的一個方面，提供了一種AI驅動的實時點云視頻傳輸方法。

該AI驅動的實時點云視頻傳輸方法，包括：

利用AI生成設備獲取視頻數據信息，并對該視頻數據信息進行處理，得到點云視頻數據；

對點云視頻數據進行分層特征提取，確定點云視頻幀中的關鍵點云特征，并傳輸該關鍵點云特征；

接收的關鍵點云特征，并對接收的關鍵點云特征進行擴展與重構，獲得與原始輸入點云相似的點云信息，形成視覺效果上的原始點云視頻。

其中，利用AI生成設備獲取視頻數據信息，并對該視頻數據信息進行處理，得到點云視頻數據包括：利用多個不同角度的深度攝像機掃描需要傳輸的3D模型，并獲取每個深度攝像機的點云流；并將從多視角攝像機匯集的多個點云拼接出一個完整的點云，得到點云視頻數據；

此外，該AI驅動的實時點云視頻傳輸方法還包括：