[發明專利]一種基于5G通信的音視頻資源的融合與分析系統

在審

• 申請號: 202210281356.1
• 申請日: 2022-03-22
• 公開（公告）號: CN114390315A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 申學帥;俞勇;李玉林
• 申請（專利權）人: 南京踏實信息科技有限公司
• 主分類號: H04N21/233
• 分類號: H04N21/233;H04N21/234;H04N21/242;H04W4/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于5G通信的音視頻資源的融合與分析系統，其特征在于，包括：

音頻采集端（1），采集多路原始音頻數據；

視頻采集端（2），采集多路原始視頻數據；

記錄儀（3），存儲音頻采集端（1）與視頻采集端（2）獲取的高清原始數據，用以精確的離線數據處理和分析；

視頻壓縮模塊（4），對視頻采集端（2）采集的視頻數據進行壓縮編碼；

5G圖傳端（5），將編碼后的音頻數據與視頻數據通過網絡對外發送；

中繼端（6），為數據傳輸的中轉站；

服務器（7），實現多路視頻流、多路音頻流的接受，實現視頻拼接以獲得全景視頻數據，獲得全景音頻數據，最終獲得同步的全景音視頻數據；

用戶端（8），具有顯示器、音響設備及人機交互界面，接收、解碼并播放服務器（7）傳輸的全景音視頻數據；

視頻分析模塊（10），用于對服務器（7）獲取的全景視頻數據進行分析；

預警模塊（11），根據視頻分析模塊（10）的結果對外部預警。

2.根據權利要求1所述的基于5G通信的音視頻資源的融合與分析系統，其特征在于：音頻采集端（1）包括拾音器（101）與音頻編碼器（102），音頻編碼器（102）將原始音頻數據進行編碼，并分別傳輸至記錄儀（3）與5G圖傳端（5）。

3.根據權利要求1所述的基于5G通信的音視頻資源的融合與分析系統，其特征在于：視頻采集端（2）包括SDI高清攝像頭（201）、SDI視頻解碼芯片（202）、PAL標清攝像頭（203）、PAL視頻解碼芯片（204）及FPGA器件（205），SDI視頻解碼芯片（202）、PAL視頻解碼芯片（204）分別對應SDI高清攝像頭（201）的SDI視頻源、PAL標清攝像頭（203）的PAL視頻源，并與所述FPGA器件（205）連接。

4.根據權利要求3所述的基于5G通信的音視頻資源的融合與分析系統，其特征在于：SDI視頻解碼芯片（202）采用GS2970 解碼器， PAL視頻解碼芯片（204）采用TVP5151 解碼器。

5.根據權利要求3所述的基于5G通信的音視頻資源的融合與分析系統，其特征在于：視頻壓縮模塊（4）具有TMS320DM8148視頻處理器。

6.根據權利要求1所述的基于5G通信的音視頻資源的融合與分析系統，其特征在于，服務器（7）包括：

音頻處理單元（701），用于將多路原始音頻數據處理為全景音頻數據，并進行編碼；

視頻處理單元（702），用于將多路原始視頻數據處理為全景視頻數據，并進行編碼；

同步模塊（703），將編碼后的全景音頻數據與編碼后的全景視頻數據進行同步，獲得編碼后的全景音視頻數據。

7.根據權利要求6所述的基于5G通信的音視頻資源的融合與分析系統，其特征在于：

音頻處理單元（701）包括音頻解碼模塊（704）、音頻處理模塊（705）及音頻編碼模塊（706）；

音頻處理模塊（705）先根據多路原始音頻數據確定多路聲源的方向信息，然后將多路原始音頻數據處理得到一路音頻數據，最后將一路音頻數據與多路聲源的方向信息進行融合，得到全景音頻數據。

8.根據權利要求6所述的基于5G通信的音視頻資源的融合與分析系統，其特征在于：

視頻處理單元（702）包括視頻解碼模塊（707）、圖像配準模塊（708）、圖像變換模塊（709）、圖像融合模塊（710）及視頻編碼模塊（711）；

圖像配準模塊（708），采用基于特征的圖像配準方法，用于找到不同輸入視頻數據中圖片之間視覺上相同的特征點；

圖像變換模塊（709），用于合成粗略的全景圖像；

圖像融合模塊（710），用于生成重疊部分過渡自然的全景圖像。