[發(fā)明專利]一種音視頻在線檢測與虛擬聲像生成方法及裝置

有效

• 申請?zhí)枺?/td>: 201811266232.6
• 申請日: 2018-10-29
• 公開（公告）號: CN109286888B
• 公開（公告）日: 2021-01-29
• 發(fā)明（設計）人: 牛歡;孟子厚;張茂成;申少雄
• 申請（專利權）人: 中國傳媒大學
• 主分類號: H04S3/02
• 分類號: H04S3/02;H04S7/00;H04N17/00
• 代理公司: 常州佰業(yè)騰飛專利代理事務所(普通合伙) 32231
• 代理人: 顧翰林

本發(fā)明提供了一種音視頻在線檢測與虛擬聲像生成方法及裝置，其中方法包括：對視頻以及多聲道音頻進行多聲道音視頻在線檢測，得到聲音特征參數(shù)的標注文件；生成多聲道音頻文件，并利用多聲道音頻文件生成多聲道音頻信號，對多聲道音頻信號進行信號矩陣分配，得到分配結果；從聲音特征參數(shù)的標注文件中提取運動聲源的運動軌跡以及運動時間，并將運動聲源的運動軌跡以及運動時間代入運動聲源運動速率感知模型，從聲音特征參數(shù)的標注文件中提取聲學參數(shù)，并將聲學參數(shù)代入三維聲源距離感知模型，獲得運動聲源運動過程中所需聲道以及相應聲道中的聲學參數(shù)；利用分配結果以及運動聲源運動過程中所需聲道以及相應聲道中的聲學參數(shù)進行虛擬聲像的生成。

技術領域

本發(fā)明涉及虛擬聲像生成技術領域，尤其涉及一種音視頻在線檢測與虛擬聲像生成方法及裝置。

背景技術

目前市面上的影視資源更多采用多通道錄制，是為了更好的達到音效的真實飽滿。但是對于聽眾而言，確實無法完美匹配動態(tài)音效與影像畫面。隨著影視行業(yè)的發(fā)展，現(xiàn)存很多模式，其中包括杜比全景聲、AURO-3D等，但也存在重放過程中聲像效果不佳等問題。如何讓聽眾在現(xiàn)有的環(huán)境和已有片源音頻制式的情況下，對于全景聲格式下虛擬聲像再生成與模擬則是本處理器需要解決的問題。

于此同時，對國內(nèi)外全景聲重放系統(tǒng)聲像生成的技術發(fā)展與相關成果進行研究分析，不難發(fā)現(xiàn)其中存在以下若干問題。

1)研究文獻可以看出，目前全景聲重放系統(tǒng)制式較多，但是均未明確針對上方和下方空間音效問題進行處理，且上下方空間音效重放制式也未進行規(guī)范或說明；根據(jù)現(xiàn)有市面上各種全景聲重放方式在放映時，聽者確實也感覺存在垂直空間音效聲像不定，且容易混淆等問題存在；因而模擬垂直空間音效，改善上下方聲像是切實需要解決的問題。

2)目前的影視作品的音頻制作主要分為兩種：一種為同期錄音即同期音，這些聲音主要包括演員的對白、動作音效和拍攝現(xiàn)場的聲音空間環(huán)境效果。另一種為后期錄音。但是目前常用的是后期錄音來解決動態(tài)音效以及聲音空間環(huán)境效果，這樣實際重放過程中就存在難以解決的聲音距離感以及動態(tài)音效運動速率等問題。

A、聲音的距離感知的實驗探究，目前的國內(nèi)外的文獻研究較少，也沒有給出一定結論可以直接進行工程應用。

a)針對不同頻率成分距離感知問題，文獻中標明隨著頻率成分和空間感知距離存在一定關系，但是沒有提供更多的關于垂直軸向距離感知與頻率成分的關系，這是可以研究的一個問題；

b)現(xiàn)有的文獻研究主要集中于水平面上的主觀距離感知，但實際應用中，是需要對水平面及垂直面進行綜合應用，故水平面與垂直面上人主觀距離感知是否存在明顯的差異性，并且此差異性是否可以進行線性修正都是需要通過實驗進行探討；

c)同時對于主觀距離感知的影響因素更多的研究偏重于聲壓級變化，但是聲源入射的角度、延時參量的設置等是否對其有一定的影響，也是需要實驗來進行進一步探討；

d)即使影響主觀距離感知因素主要取決聲壓級的變化，但是類似于近場范圍內(nèi)，不同聲壓級變化時人主觀距離感知也存在一定的范圍，但是此范圍也需要通過實驗也進行實際確定，便于實際工程應用；

B、根據(jù)文獻資料可知，針對運動聲源感知的閾限的探索相對較少，但是是否存在影響運動聲源感知閾限的其他因素；

a)由于運動聲源感知閾限的結論比較寬泛，沒辦法進行應用，因而需要對其實驗結果進行補充，得到不同聲源信號以及不同聲源頻率相應的運動聲源感知閾限。

b)針對影視音頻制作中，動態(tài)音效基本上都存在一定背景音存在；因而信噪比變化對于運動聲源感知閾限存在什么樣的影響，也是在進行工程應用前需要解決的問題；

c)目前對于運動聲源閾限的感知研究，基本上都是固定在一個半徑范圍內(nèi)即半徑為2.5m，但是實際影視重放時，揚聲器配置遠大于這個范圍，因而聲源位置距離是否對運動聲源閾限的感知有影響；如果存在，影響的趨勢變化也是需要探討的。