[發明專利]多方視頻混屏方法、裝置、網絡設備及存儲介質

有效

• 申請號: 201911128504.0
• 申請日: 2019-11-18
• 公開（公告）號: CN110855908B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 周駿華;王樂才;方華;宋欽梅
• 申請（專利權）人: 中移（杭州）信息技術有限公司;中國移動通信集團有限公司
• 主分類號: H04N5/265
• 分類號: H04N5/265;H04N7/15;H04N19/132;H04N19/14;H04N19/149;H04N19/176
• 代理公司: 上海晨皓知識產權代理事務所(普通合伙) 31260
• 代理人: 成麗杰

1.一種多方視頻混屏方法，其特征在于，包括：

獲取待混屏的N個視頻的編碼幀和每個所述視頻的輸入幀率，所述N為大于1的自然數；

將輸入幀率與預設幀率不同的所述視頻的編碼幀進行解碼得到解碼幀，并獲取輸入幀率與預設幀率不同的視頻的特征參數，其中，所述特征參數包括：宏塊運動矢量、宏塊編碼類型和幀級的全局運動矢量；

將所述特征參數輸入至運動復雜度模型，得到所述輸入幀率與預設幀率不同的視頻的運動復雜度；

根據所述預設幀率和所述運動復雜度對所述解碼幀進行插幀或拋幀處理，得到處理后的解碼幀；其中，所述拋幀處理包括：使運動復雜度越低的解碼幀越優先進行拋幀處理，具體為：優先拋掉至少部分運動復雜度小于或等于第一預設值的解碼幀，以使所述視頻的輸入幀率與所述預設幀率相同或接近；所述插幀處理包括：使運動復雜度越高的解碼幀越優先進行插幀處理，具體為：優先對至少部分運動復雜度大于或等于第二預設值的解碼幀進行插幀處理，以使視頻的輸入幀率與預設幀率相同或接近；

根據所述處理后的解碼幀合成混屏視頻。

2.根據權利要求1所述的多方視頻混屏方法，其特征在于，所述根據所述預設幀率和所述運動復雜度對所述解碼幀進行插幀或拋幀處理，包括：

若所述輸入幀率大于所述預設幀率，則對所述解碼幀進行拋幀處理，其中，所述拋幀處理優先對運動復雜度小于或等于第一預設值的解碼幀進行；

若所述輸入幀率小于所述預設幀率，則對所述解碼幀進行插幀處理，其中，所述插幀處理優先對運動復雜度大于或等于第二預設值的解碼幀進行。

3.根據權利要求1所述的多方視頻混屏方法，其特征在于，在將所述特征參數輸入至運動復雜度模型之前，還包括：

獲取視頻訓練樣本，提取所述視頻訓練樣本的特征參數；

將所述視頻訓練樣本的特征參數輸入至深度學習模型中訓練；

將訓練后的深度學習模型作為所述運動復雜度模型。

4.根據權利要求3所述的多方視頻混屏方法，其特征在于，所述將所述視頻訓練樣本的特征參數輸入至深度學習模型中訓練，具體為：

將所述視頻訓練樣本的特征參數輸入至開源深度學習框架中訓練。

5.根據權利要求1所述的多方視頻混屏方法，其特征在于，所述獲取待混屏的N個視頻的編碼幀和每個所述視頻的輸入幀率，包括：

采用卡爾曼濾波分別獲取每個所述視頻的輸入幀率。

6.根據權利要求1所述的多方視頻混屏方法，其特征在于，所述根據所述處理后的解碼幀合成混屏視頻，包括：

根據所述處理后的解碼幀和輸入幀率與所述預設幀率相同的視頻的編碼幀合成混屏視頻。

7.一種多方視頻混屏裝置，其特征在于，包括：

編碼幀獲取模塊，用于獲取待混屏的N個視頻的編碼幀和每個所述視頻的輸入幀率，所述N為大于1的自然數；

參數獲取模塊，用于將所述輸入幀率與預設幀率不同的所述視頻的編碼幀進行解碼得到解碼幀，并獲取輸入幀率與預設幀率不同的視頻的特征參數，其中，所述特征參數包括：宏塊運動矢量、宏塊編碼類型和幀級的全局運動矢量；

復雜度獲取模塊，用于將所述特征參數輸入至運動復雜度模型，得到所述輸入幀率與預設幀率不同的視頻的運動復雜度；

幀處理模塊，用于根據所述預設幀率和所述運動復雜度對所述解碼幀進行插幀或拋幀處理，得到處理后的解碼幀；其中，所述拋幀處理包括：使運動復雜度越低的解碼幀越優先進行拋幀處理，具體為：優先拋掉至少部分運動復雜度小于或等于第一預設值的解碼幀，以使所述視頻的輸入幀率與所述預設幀率相同或接近；所述插幀處理包括：使運動復雜度越高的解碼幀越優先進行插幀處理，具體為：優先對至少部分運動復雜度大于或等于第二預設值的解碼幀進行插幀處理，以使視頻的輸入幀率與預設幀率相同或接近；

視頻合成模塊，用于根據所述處理后的解碼幀合成混屏視頻。