[發明專利]一種基于5G通信的音視頻資源的融合與分析系統

在審

• 申請號: 202210281356.1
• 申請日: 2022-03-22
• 公開（公告）號: CN114390315A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 申學帥;俞勇;李玉林
• 申請（專利權）人: 南京踏實信息科技有限公司
• 主分類號: H04N21/233
• 分類號: H04N21/233;H04N21/234;H04N21/242;H04W4/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于5G通信的音視頻資源的融合與分析系統，包括：音頻采集端、視頻采集端、記錄儀、視頻壓縮模塊、5G圖傳端、中繼端、服務器、用戶端、視頻分析模塊及預警模塊。本發明對原始音頻、視頻數據進行編碼壓縮后再進行網絡傳輸，減少了對硬件的壓力；支持5G網絡，在進行音視頻數據傳輸的過程中，高質高速穩定，保證質量與效率；實現多路視頻數據與多路音頻數據的硬件同步采集，并將多路原始音頻數據、視頻數據同步融合成全景音視頻數據，滿足了客戶的需求；采用泰森多邊形算法對多路視頻進行融合，具有較高的計算效率，從而保證全景音視頻的實時性；并且能自動分析并預警，克服人工監控的缺陷。

技術領域

本發明涉及5G與音視頻處理技術領域，具體涉及到一種基于5G通信的音視頻資源的融合與分析系統。

背景技術

近幾年來，互聯網、多媒體及自動控制技術飛速發展，音視頻處理已在智能樓宇、交通監控、智能家居、汽車電子以及航空航天等諸多領域得到了廣泛的應用。而隨著計算機技術、微電子技術、光學技術以及多媒體技術的飛速發展，人們信息交流互通的需求不斷加大，信息溝通方式革新的需求更是與日俱增，傳統的單個攝像頭進行音視頻信息采集和網絡傳輸到遠程的方式進行可視對講已經不滿足人們圖像視頻信息采集的需求。另一方面，現有的全景音視頻設備終端一般都不支持5G網絡，在進行音視頻數據傳輸的過程中，不夠高質高速穩定，影響工作質量與效率。

發明內容

為了實現高質量、高穩定性、實時性好的全景音視頻的采集與分析，本發明提供了一種基于5G通信的音視頻資源的融合與分析系統。

本發明采用的技術方案如下：一種基于5G通信的音視頻資源的融合與分析系統，包括：音頻采集端，采集多路原始音頻數據；視頻采集端，采集多路原始視頻數據；記錄儀，存儲音頻采集端與視頻采集端獲取的高清原始數據，用以精確的離線數據處理和分析；視頻壓縮模塊，對視頻采集端采集的視頻數據進行壓縮編碼；5G圖傳端，將編碼后的音頻數據與視頻數據通過網絡對外發送；中繼端，為數據傳輸的中轉站；服務器，實現多路視頻流、多路音頻流的接受，實現視頻拼接以獲得全景視頻數據，獲得全景音頻數據，最終獲得同步的全景音視頻數據；用戶端，具有顯示器、音響設備及人機交互界面，接收、解碼并播放服務器傳輸的全景音視頻數據；視頻分析模塊，用于對服務器獲取的全景視頻數據進行分析；預警模塊，根據視頻分析模塊的結果對外部預警。

優選的，音頻采集端包括拾音器與音頻編碼器，音頻編碼器將原始音頻數據進行編碼，并分別傳輸至記錄儀與5G圖傳端。

優選的，視頻采集端包括SDI高清攝像頭、SDI視頻解碼芯片、PAL標清攝像頭、PAL視頻解碼芯片及FPGA器件，SDI視頻解碼芯片、PAL視頻解碼芯片分別對應SDI高清攝像頭的SDI視頻源、PAL標清攝像頭的PAL視頻源，并與所述FPGA器件連接。

優選的，SDI視頻解碼芯片采用GS2970 解碼器， PAL視頻解碼芯片采用TVP5151解碼器。

優選的，視頻壓縮模塊具有TMS320DM8148視頻處理器。

優選的，服務器包括：音頻處理單元，用于將多路原始音頻數據處理為全景音頻數據，并進行編碼；視頻處理單元，用于將多路原始視頻數據處理為全景視頻數據，并進行編碼；同步模塊，將編碼后的全景音頻數據與編碼后的全景視頻數據進行同步，獲得編碼后的全景音視頻數據。

優選的，音頻處理單元包括音頻解碼模塊、音頻處理模塊及音頻編碼模塊；音頻處理模塊先根據多路原始音頻數據確定多路聲源的方向信息，然后將多路原始音頻數據處理得到一路音頻數據，最后將一路音頻數據與多路聲源的方向信息進行融合，得到全景音頻數據。

優選的，視頻處理單元包括視頻解碼模塊、圖像配準模塊、圖像變換模塊、圖像融合模塊及視頻編碼模塊；圖像配準模塊，采用基于特征的圖像配準方法，用于找到不同輸入視頻數據中圖片之間視覺上相同的特征點；圖像變換模塊，用于合成粗略的全景圖像；圖像融合模塊，用于生成重疊部分過渡自然的全景圖像。