[發明專利]一種多路視頻的智能混屏方法和系統

有效

• 申請號: 202010886788.6
• 申請日: 2020-08-28
• 公開（公告）號: CN111970474B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 陳威;孫昌勛
• 申請（專利權）人: 北京容聯易通信息技術有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;H04N5/265;H04N5/262;G06V40/16
• 代理公司: 北京天達知識產權代理事務所(普通合伙) 11386
• 代理人: 馬東偉

本發明涉及一種多路視頻的智能混屏方法和系統，包括創建一個混屏容器，加入待混屏的多路視頻，并通過所述混屏容器為每路視頻配置相應的解碼資源和人像識別資源；利用所述解碼資源分別對相應的每路視頻一一解碼后，采用所述人像識別資源對每路解碼后的視頻進行人像識別，并根據人像識別結果計算出每路視頻中的人像位置；對所述混屏容器設置對應參數不同的輸出的多個容器布局，平面的均勻分布劃分得到混屏顯示時每路視頻的布局位置；根據所述人像位置和所述布局位置計算并優化裁剪位置，并根據所述裁剪位置對視頻進行裁剪后混屏，編碼后發送至遠端。本發明解決目前在服務端混屏時對原始的視頻進行裁剪無法保證人像整個或部分不被裁剪的問題。

技術領域

本發明涉及計算機通信技術領域，尤其涉及一種多路視頻的智能混屏方法和系統。

背景技術

隨著計算機通信技術的發展，通信環境的改善，視頻會議在工作和生活中的應用越來越廣泛，視頻會議的參與方使用的設備也越來越多，除了傳統的PC機還有各種型號的手機。然而這些設備所使用的攝像頭采集的視頻的規格(長寬比)也是各種各樣，有的是橫屏，有的是豎屏。當在服務端進行混屏時就需要對原始的視頻進行一定的裁剪，但在裁剪的時候由于只保留中間部分，會議參與方的頭像如果不在中間位置，就會導致頭像整個或者部分被裁剪。為了保證人像不被裁剪，就必須保證參與方的人像要在中間位置。現有技術大多采用調整攝像頭的位置，讓人像居中。由于參與方并不都是保持在一個位置的，有可能還是移動的，所以并不能完全保證人像一定在中間位置，因此，無法保證人像整個或者部分不被裁剪。

發明內容

鑒于上述的分析，本發明旨在提供一種多路視頻的智能混屏方法和系統，以解決目前在服務端進行混屏時對原始的視頻進行裁剪無法保證人像整個或部分不被裁剪的問題。

本發明的目的主要是通過以下技術方案實現的：

一方面，本發明提供了一種多路視頻的智能混屏方法，包括以下步驟：

創建一個混屏容器，加入待混屏的多路視頻，并通過所述混屏容器為每路視頻配置相應的解碼資源和人像識別資源；

接收所述待混屏的多路視頻后，利用所述解碼資源分別對相應的每路視頻一一解碼，并采用所述人像識別資源對每路解碼后的視頻進行人像識別，并根據人像識別結果計算出每路視頻中的人像位置；

對所述創建的混屏容器設置對應參數不同的輸出的多個容器布局，并根據輸出規格和輸入視頻路數進行平面的均勻分布劃分得到混屏顯示時每路視頻的布局位置；其中，每個參數不同的輸出對應一個布局位置，所述參數包括輸入視頻路數、編碼類型和輸出規格；

根據所述人像位置和所述布局位置計算并優化裁剪位置，并根據所述裁剪位置將裁剪后的多路視頻送入混屏容器，再經編碼后發送至遠端。

進一步地，根據所述人像位置和所述布局位置計算并優化裁剪位置包括：當任一路視頻的人像位置改變后，重新計算該路視頻的人像位置；

若所述人像位置仍在前次計算的布局位置范圍內時，不改變裁剪位置仍對標所述布局位置；

若所述人像位置超出前次計算的布局位置范圍時，調整裁剪位置以適配所述布局位置。

進一步地，創建一個混屏容器時，分配混屏容器資源，包括cpu和內存。

進一步地，所述混屏容器加入待混屏的多路視頻時，設置包括視頻路數和解碼類型在內的參數，并分配系統接收端的網絡端口，為每路視頻分配包括cpu和內存在內的解碼資源。

進一步地，對所述混屏容器設置多個參數不同的輸出時，設置包括視頻路數、編碼類型和輸出規格在內的參數，并分配遠端端口地址。

另一方面，本發明提供了一種多路視頻的智能混屏系統，包括接收器、解碼器、計算器、混屏容器、編碼器和發送器；