[發(fā)明專利]多方視頻混屏方法、裝置、網(wǎng)絡(luò)設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201911128504.0
• 申請日: 2019-11-18
• 公開（公告）號: CN110855908B
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計）人: 周駿華;王樂才;方華;宋欽梅
• 申請（專利權(quán)）人: 中移（杭州）信息技術(shù)有限公司;中國移動通信集團(tuán)有限公司
• 主分類號: H04N5/265
• 分類號: H04N5/265;H04N7/15;H04N19/132;H04N19/14;H04N19/149;H04N19/176
• 代理公司: 上海晨皓知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31260
• 代理人: 成麗杰

本發(fā)明實施方式涉及通信技術(shù)領(lǐng)域，公開了一種多方視頻混屏方法，該方法包括：獲取待混屏的N個視頻的編碼幀和每個視頻的輸入幀率，N為大于1的自然數(shù)；將輸入幀率與預(yù)設(shè)幀率不同的視頻的編碼幀進(jìn)行解碼得到解碼幀，并獲取輸入幀率與預(yù)設(shè)幀率不同的視頻的特征參數(shù)；將特征參數(shù)輸入至運動復(fù)雜度模型，得到輸入幀率與預(yù)設(shè)幀率不同的視頻的運動復(fù)雜度；根據(jù)預(yù)設(shè)幀率和運動復(fù)雜度對解碼幀進(jìn)行插幀或拋幀處理，得到處理后的解碼幀；根據(jù)處理后的解碼幀合成混屏視頻。本發(fā)明實施方式還提供了一種多方視頻混屏裝置、網(wǎng)絡(luò)設(shè)備及存儲介質(zhì)。本發(fā)明實施方式提供的多方視頻混屏方法、裝置、網(wǎng)絡(luò)設(shè)備及存儲介質(zhì)，可以提高混屏的通信視頻的顯示效果。

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)領(lǐng)域，特別涉及一種多方視頻混屏方法、裝置、網(wǎng)絡(luò)設(shè)備及存儲介質(zhì)。

背景技術(shù)

在多種視頻通信的場景下，例如進(jìn)行多方視頻會議，需要將進(jìn)行視頻通信的多個視頻混在一個屏幕中，以方便進(jìn)行視頻通信用戶的觀看和互動。

然而，由于進(jìn)行視頻通信的多個終端的類型可能會不同，相應(yīng)地多個視頻的幀率也可能會不一樣；而幀率的不同則會導(dǎo)致混屏之后的各個視頻不能同步，影響混屏的通信視頻的顯示效果。

發(fā)明內(nèi)容

本發(fā)明實施方式的目的在于提供一種多方視頻混屏方法、裝置、網(wǎng)絡(luò)設(shè)備及存儲介質(zhì)，可以提高混屏的通信視頻的顯示效果。

為解決上述技術(shù)問題，本發(fā)明的實施方式提供了一種多方視頻混屏方法，包含以下步驟：獲取待混屏的N個視頻的編碼幀和每個視頻的輸入幀率，N為大于1的自然數(shù)；將輸入幀率與預(yù)設(shè)幀率不同的視頻的編碼幀進(jìn)行解碼得到解碼幀，并獲取輸入幀率與預(yù)設(shè)幀率不同的視頻的特征參數(shù)；將特征參數(shù)輸入至運動復(fù)雜度模型，得到輸入幀率與預(yù)設(shè)幀率不同的視頻的運動復(fù)雜度；根據(jù)預(yù)設(shè)幀率和運動復(fù)雜度對解碼幀進(jìn)行插幀或拋幀處理，得到處理后的解碼幀；根據(jù)處理后的解碼幀合成混屏視頻。

本發(fā)明的實施方式還提供了一種多方視頻混屏裝置，包含：編碼幀獲取模塊，用于獲取待混屏的N個視頻的編碼幀和每個視頻的輸入幀率，N為大于1的自然數(shù)；參數(shù)獲取模塊，用于將輸入幀率與預(yù)設(shè)幀率不同的視頻的編碼幀進(jìn)行解碼得到解碼幀，并獲取輸入幀率與預(yù)設(shè)幀率不同的視頻的特征參數(shù)；復(fù)雜度獲取模塊，用于將特征參數(shù)輸入至運動復(fù)雜度模型，得到輸入幀率與預(yù)設(shè)幀率不同的視頻的運動復(fù)雜度；幀處理模塊，用于根據(jù)預(yù)設(shè)幀率和運動復(fù)雜度對解碼幀進(jìn)行插幀或拋幀處理，得到處理后的解碼幀；視頻合成模塊，用于根據(jù)處理后的解碼幀合成混屏視頻。

本發(fā)明的實施方式還提供了一種網(wǎng)絡(luò)設(shè)備，包括：至少一個處理器；以及，與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執(zhí)行的指令，指令被至少一個處理器執(zhí)行，以使至少一個處理器能夠執(zhí)行上述的多方視頻混屏方法。

本發(fā)明的實施方式還提供了一種計算機(jī)可讀存儲介質(zhì)，存儲有計算機(jī)程序，計算機(jī)程序被處理器執(zhí)行時實現(xiàn)上述的多方視頻混屏方法。

本發(fā)明實施方式相對于現(xiàn)有技術(shù)而言，通過將輸入幀率與預(yù)設(shè)幀率不同的視頻進(jìn)行插幀或拋幀處理，可以使處理后的視頻的輸入幀率與預(yù)設(shè)幀率相同或接近，從而使混屏后的各個視頻的幀率相同或接近，提高混屏后的視頻的同步性；同時通過運動復(fù)雜度模型獲取視頻的運動復(fù)雜度，在對視頻進(jìn)行插幀或拋幀處理時，結(jié)合視頻的運動復(fù)雜度進(jìn)行插幀或拋幀，可以使插入的幀或拋掉的幀更加合理，使混屏后的視頻更加符合真實的情況，提高了混屏的通信視頻的顯示效果。

另外，根據(jù)預(yù)設(shè)幀率和運動復(fù)雜度對解碼幀進(jìn)行插幀或拋幀處理，包括：若輸入幀率大于預(yù)設(shè)幀率，則對解碼幀進(jìn)行拋幀處理，其中，拋幀處理優(yōu)先對運動復(fù)雜度小于或等于第一預(yù)設(shè)值的解碼幀進(jìn)行；若輸入幀率小于預(yù)設(shè)幀率，則對解碼幀進(jìn)行插幀處理，其中，插幀處理優(yōu)先對運動復(fù)雜度大于或等于第二預(yù)設(shè)值的解碼幀進(jìn)行。