[發明專利]一種AI驅動的實時點云視頻傳輸方法及系統

有效

• 申請號: 202110985757.0
• 申請日: 2021-08-26
• 公開（公告）號: CN113810736B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 喬秀全;黃亞坤;朱原瑋;陳俊亮
• 申請（專利權）人: 北京郵電大學
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N19/597
• 代理公司: 北京紐樂康知識產權代理事務所(普通合伙) 11210
• 代理人: 田磊

1.一種AI驅動的實時點云視頻傳輸方法，其特征在于，包括：

利用AI生成設備獲取視頻數據信息，并對該視頻數據信息進行處理，得到點云視頻數據；

對點云視頻數據進行分層特征提取，確定點云視頻幀中的關鍵點云特征，并傳輸該關鍵點云特征；

接收的關鍵點云特征，并對接收的關鍵點云特征進行擴展與重構，獲得與原始輸入點云相似的點云信息，形成視覺效果上的原始點云視頻；

將預先搭建好的深度神經網絡，在線下使用大量包含各種規模的3D模型組成的訓練集進行訓練，訓練得到多個候選神經網絡模型；

訓練好的每個神經網絡模型拆分成分層特征提取模塊和基于生成對抗網絡的點云恢復重建模塊；并分別部署到靠近輸入端的高性能邊緣服務器和用戶終端設備上；

在將分層特征提取模塊和基于生成對抗網絡的點云恢復重建模塊部署到高性能邊緣服務器和用戶終端設備的同時，部署自適應匹配器，促使自適應匹配器根據實時監測到的網絡帶寬變化自適應地匹配滿足當前網絡的實時點云視頻幀特征提取與重建恢復的神經網絡模型。

2.根據權利要求1所述的AI驅動的實時點云視頻傳輸方法，其特征在于，所述分層特征提取模塊包含三個串聯的集合抽象層次進行分層特征學習，來捕捉原始點云的局部結構；所述集合抽象層由三個基本層組成，包括采樣層、分組層和迷你PointNet層；其中，

采樣層，從上一層的輸出中使用最遠點采樣技術選擇一個子集，子集中的每個點表示一個局部區域的中心；

分組層，在局部區域中心的周圍找到n個最近鄰點，組合構造成局部區域集合；

迷你PointNet層，采用3個二維卷積層和1個最大池化層將局部區域集合變換為特征向量；

最后一個集合抽象層的迷你PointNet層輸出的特征向量即為所要傳輸的數據。

3.根據權利要求2所述的AI驅動的實時點云視頻傳輸方法，其特征在于，所述點云恢復重建模塊包括點云特征擴展部分以及最終點集的生成部分，其中，

點云特征擴展部分，用于在收到傳輸過來的關鍵點云特征，通過一個多層感知器來統一特征的維度；并通過一個向上-向下-向上的擴展單元，產生更多樣化的點云數目和特征維度；

最終點集生成部分，包含兩個多層感知器層，并通過該兩個多層感知器層將擴展后的點云特征重構為三維坐標形式。

4.根據權利要求3所述的AI驅動的實時點云視頻傳輸方法，其特征在于，

利用AI生成設備獲取視頻數據信息，并對該視頻數據信息進行處理，得到點云視頻數據包括：

利用多個不同角度的深度攝像機掃描需要傳輸的3D模型，并獲取每個深度攝像機的點云流；并將從多視角攝像機匯集的多個點云拼接出一個完整的點云，得到點云視頻數據；

對點云視頻數據進行分層特征提取，確定點云視頻幀中的關鍵點云特征包括：

通過部署到靠近輸入端的高性能邊緣服務器的分層特征提取模塊，對點云視頻數據進行分層特征提取，確定點云視頻幀中的關鍵點云特征；

對接收的關鍵點云特征進行擴展與重構，獲得與原始輸入點云相似的點云信息，形成視覺效果上的原始點云視頻包括：

通過部署到靠近輸入端的用戶終端設備上的基于生成對抗網絡的點云恢復重建模塊，對關鍵點云特征進行擴展與重構，獲得與原始輸入點云相似的點云信息，形成視覺效果上的原始點云視頻。