[發(fā)明專利]一種實時視頻中音視頻延時確定方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110459099.1
• 申請日: 2021-04-27
• 公開（公告）號: CN112995781B
• 公開（公告）日: 2021-08-13
• 發(fā)明（設(shè)計）人: 胡一凡;張宇;殷力;李曉聰;何凱
• 申請（專利權(quán)）人: 南斗六星系統(tǒng)集成有限公司
• 主分類號: H04N21/647
• 分類號: H04N21/647;H04L12/26
• 代理公司: 北京匯澤知識產(chǎn)權(quán)代理有限公司 11228
• 代理人: 吳靜

1.一種實時視頻中音視頻延時確定方法，其特征在于，包括：

S100.用戶通過多點控制單元MCU的網(wǎng)絡(luò)模塊打開延時確定功能，獲取多點控制單元MCU當(dāng)前正在處理的音視頻流條數(shù)，并按第一預(yù)設(shè)規(guī)則對當(dāng)前正在處理的音視頻流和音視頻處理環(huán)節(jié)分別進行編號；用戶根據(jù)自身需求，上傳相應(yīng)參數(shù)，確定自身所需的延時測試需求；

S200.記錄模塊記錄并儲存各個環(huán)節(jié)中音視頻處理信息，包括：當(dāng)前幀的幀序號和處理完的系統(tǒng)時刻；并在音視頻數(shù)據(jù)各處理環(huán)節(jié)中設(shè)置相同的信息條數(shù)閾值k，判斷各個環(huán)節(jié)中已存儲的信息條數(shù)是否等于閾值k；S200的具體方法為：

S201：當(dāng)多點控制單元MCU中的記錄模塊被測試用戶喚醒后，每個音視頻數(shù)據(jù)處理環(huán)節(jié)中的記錄模塊獨立記錄本環(huán)節(jié)幀數(shù)據(jù)處理情況，每個環(huán)節(jié)處理的幀序號從1開始，單調(diào)遞增，記錄模塊存儲的信息包含幀序號和幀數(shù)據(jù)處理結(jié)束的系統(tǒng)時刻；

S202：S201每新生成一條信息，記錄模塊會獲取本環(huán)節(jié)已存儲的信息條數(shù)，并與S200中設(shè)置的閾值k做比較；

S203：當(dāng)記錄模塊中已存儲的信息值未到k時，直接存儲當(dāng)前生成的這條信息；記錄模塊已存儲了k條信息時，刪除已存儲信息中的第一條信息，將新生成的信息進行存儲；

S204：當(dāng)某個數(shù)據(jù)處理環(huán)節(jié)中的記錄模塊收到了同一條媒體流的其它環(huán)節(jié)發(fā)送的丟幀或幀數(shù)據(jù)處理異常信號，一同收到的還有丟幀或幀數(shù)據(jù)處理異常的幀序號n；

S205：收到通知的記錄模塊會刪除幀序號n對應(yīng)的存儲信息，并更新已存儲信息中幀序號大于n的信息，更新內(nèi)容是重新為幀序號賦值，保證刪除信息后，剩余信息中的幀序號連貫，同時，記錄模塊中用于累計已處理數(shù)據(jù)幀的標(biāo)記值減1；

S300.對用戶上傳的參數(shù)進行解析，確定用戶延時測試需求對應(yīng)的音視頻流序號和音視頻指定處理環(huán)節(jié)，統(tǒng)計模塊查詢用戶指定處理環(huán)節(jié)中存儲的信息，匹配存儲信息中幀序號相同的信息，并獲取信息中的時刻值，將兩個時刻值的差值作為此幀數(shù)據(jù)在指定環(huán)節(jié)間的延時結(jié)果，并將延時結(jié)果發(fā)送給網(wǎng)絡(luò)模塊；S300的具體方法為：

S301統(tǒng)計模塊根據(jù)測試用戶指定的延時確定參數(shù)，查詢對應(yīng)環(huán)節(jié)中記錄模塊存儲的信息；

S302：統(tǒng)計模塊先查詢測試用戶指定的起始環(huán)節(jié)中的存儲信息，從存儲信息中的第一條開始，獲取信息中幀序號n和信息中系統(tǒng)時刻T1，再在測試用戶指定的終止環(huán)節(jié)中查詢幀序號為n的信息，并獲取信息中系統(tǒng)時刻T2，T2與T1的差值T便是測試用戶需要的延時確定值；

S303.統(tǒng)計模塊將延時確定結(jié)果發(fā)送給網(wǎng)絡(luò)模塊；

S400.網(wǎng)絡(luò)模塊接收統(tǒng)計模塊發(fā)送的延時結(jié)果，并將延時結(jié)果發(fā)送給用戶。

2.如權(quán)利要求1所述的一種實時視頻中音視頻延時確定方法，其特征在于，對視頻處理環(huán)節(jié)分別進行編號的第一預(yù)設(shè)規(guī)則為：將視頻處理環(huán)節(jié)中的視頻數(shù)據(jù)接收、視頻數(shù)據(jù)解碼、視頻數(shù)據(jù)丟幀、視頻數(shù)據(jù)縮放、視頻數(shù)據(jù)合成、視頻數(shù)據(jù)合成后縮放和視頻數(shù)據(jù)編碼發(fā)送按遞增順序編號為1到7。

3.如權(quán)利要求1所述的一種實時視頻中音視頻延時確定方法，其特征在于，對音頻處理環(huán)節(jié)分別進行編號的第一預(yù)設(shè)規(guī)則為：將音頻處理環(huán)節(jié)中的音頻數(shù)據(jù)接收、音頻數(shù)據(jù)解碼、音頻數(shù)據(jù)重采樣、音頻數(shù)據(jù)混音、音頻數(shù)據(jù)編碼發(fā)送按遞增順序編號為1到5。

4.如權(quán)利要求2或3所述的一種實時視頻中音視頻延時確定方法，其特征在于，用戶上傳參數(shù)的規(guī)則為：首先確定音視頻類型，其中1表示視頻，0表示音頻；然后確定具體的音頻或視頻編號；最后確定需要測試的視頻或音頻處理環(huán)節(jié)的起止編號。

5.如權(quán)利要求1所述的一種實時視頻中音視頻延時確定方法，其特征在于，S200中，當(dāng)各個環(huán)節(jié)中已存儲的信息條數(shù)等于閾值k時，先刪掉已存儲的第一條信息，然后再存儲當(dāng)前生成的這條信息；若小于閾值k時，直接存儲當(dāng)前生成的這條信息。

6.如權(quán)利要求2所述的一種實時視頻中音視頻延時確定方法，其特征在于，當(dāng)視頻數(shù)據(jù)丟幀環(huán)節(jié)出現(xiàn)丟幀時，視頻數(shù)據(jù)丟幀環(huán)節(jié)會通知在它之前的視頻數(shù)據(jù)接收環(huán)節(jié)和視頻數(shù)據(jù)解碼環(huán)節(jié)具體的丟幀編號，使視頻數(shù)據(jù)接收環(huán)節(jié)和視頻數(shù)據(jù)解碼環(huán)節(jié)刪除并更新已存儲的信息。

7.一種實時視頻中音視頻延時確定系統(tǒng)，其特征在于，包括：網(wǎng)絡(luò)模塊、記錄模塊和統(tǒng)計模塊；其中：

網(wǎng)絡(luò)模塊，用于為用戶提供測試用戶能訪問的接口，開啟多點控制單元MCU的延時確定功能；用于對測試用戶傳入的參數(shù)進行解析，判斷用戶傳入的參數(shù)是否滿足要求；還用于接收統(tǒng)計模塊發(fā)送的延時確定結(jié)果，并將延時確定結(jié)果發(fā)送給用戶；

記錄模塊，用于記錄并儲存各個環(huán)節(jié)中音視頻處理信息，包括：當(dāng)前幀的幀序號和處理完的系統(tǒng)時刻；并在音視頻數(shù)據(jù)各處理環(huán)節(jié)中設(shè)置相同的信息條數(shù)閾值k，判斷各個環(huán)節(jié)中已存儲的信息條數(shù)是否等于閾值k；其中記錄模塊工作的方法為：

S201：當(dāng)多點控制單元MCU中的記錄模塊被測試用戶喚醒后，每個音視頻數(shù)據(jù)處理環(huán)節(jié)中的記錄模塊獨立記錄本環(huán)節(jié)幀數(shù)據(jù)處理情況，每個環(huán)節(jié)處理的幀序號從1開始，單調(diào)遞增，記錄模塊存儲的信息包含幀序號和幀數(shù)據(jù)處理結(jié)束的系統(tǒng)時刻；

S202：S201每新生成一條信息，記錄模塊會獲取本環(huán)節(jié)已存儲的信息條數(shù)，并與S200中設(shè)置的閾值k做比較；

S203：當(dāng)記錄模塊中已存儲的信息值未到k時，直接存儲當(dāng)前生成的這條信息；記錄模塊已存儲了k條信息時，刪除已存儲信息中的第一條信息，將新生成的信息進行存儲；

S204：當(dāng)某個數(shù)據(jù)處理環(huán)節(jié)中的記錄模塊收到了同一條媒體流的其它環(huán)節(jié)發(fā)送的丟幀或幀數(shù)據(jù)處理異常信號，一同收到的還有丟幀或幀數(shù)據(jù)處理異常的幀序號n；

S205：收到通知的記錄模塊會刪除幀序號n對應(yīng)的存儲信息，并更新已存儲信息中幀序號大于n的信息，更新內(nèi)容是重新為幀序號賦值，保證刪除信息后，剩余信息中的幀序號連貫，同時，記錄模塊中用于累計已處理數(shù)據(jù)幀的標(biāo)記值減1；

統(tǒng)計模塊，用于查詢用戶指定處理環(huán)節(jié)中存儲的信息，匹配存儲信息中幀序號相同的信息，并獲取信息中的時刻值，將兩個時刻值的差值作為此幀數(shù)據(jù)在指定環(huán)節(jié)間的延時結(jié)果，并將延時結(jié)果發(fā)送給網(wǎng)絡(luò)模塊，其中，統(tǒng)計模塊工作的方法為：

S301統(tǒng)計模塊根據(jù)測試用戶指定的延時確定參數(shù)，查詢對應(yīng)環(huán)節(jié)中記錄模塊存儲的信息；

S302：統(tǒng)計模塊先查詢測試用戶指定的起始環(huán)節(jié)中的存儲信息，從存儲信息中的第一條開始，獲取信息中幀序號n和信息中系統(tǒng)時刻T1，再在測試用戶指定的終止環(huán)節(jié)中查詢幀序號為n的信息，并獲取信息中系統(tǒng)時刻T2，T2與T1的差值T便是測試用戶需要的延時確定值；

S303.統(tǒng)計模塊將延時確定結(jié)果發(fā)送給網(wǎng)絡(luò)模塊。