[發(fā)明專利]實時視頻處理方法、裝置、電子設備及存儲介質

在審

• 申請?zhí)枺?/td>: 202110231205.0
• 申請日: 2021-03-02
• 公開（公告）號: CN113191184A
• 公開（公告）日: 2021-07-30
• 發(fā)明（設計）人: 陳海波;權甲;潘志銳;趙昕;李珂
• 申請（專利權）人: 深蘭科技（上海）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/01
• 代理公司: 蘇州領躍知識產(chǎn)權代理有限公司 32370
• 代理人: 王寧

本申請?zhí)峁┝艘环N實時視頻處理方法、裝置、電子設備及計算機可讀存儲介質，所述方法包括：獲取實時視頻信息和預設背景，所述實時視頻信息是攝像頭拍攝人物得到的；針對所述實時視頻信息的每一幀實時圖像，從所述實時圖像中獲取人物輪廓區(qū)域，以及根據(jù)所述實時圖像獲取手勢信息；從所述實時圖像中獲取所述人物輪廓區(qū)域對應的部分圖像，記為人物部分；將所述人物部分顯示在所述預設背景中；基于所述手勢信息生成控制指令或者不執(zhí)行任何操作，所述控制指令用于控制以下至少一種操作：所述預設背景的播放操作；所述人物部分在所述預設背景中的移動操作；所述人物部分在所述預設背景中的縮放操作。該方法可以實現(xiàn)人物與演講內(nèi)容之間的互動。

技術領域

本申請涉及圖像處理技術領域，尤其涉及實時視頻處理方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

目前鼠標是我們和計算機“溝通和交流”的主要接口之一，但是這個溝通方式遠遠不能滿足我們的要求，我們希望有更簡潔的、智能化和人性化的人機交互方式。

手勢是一種自然、直觀、易于學習的人機交互手段。手勢識別技術一直是人機交互的一個重要研究課題，以人手作為直接輸入，人機之間的通訊將不再需要中間媒體，用戶可以簡單地定義各種適當?shù)氖謩輥韺τ嬎銠C進行控制，從而可以實現(xiàn)非接觸式的鼠標控制事件。與其它輸入方法相比較，具有自然性、簡潔性、豐富性和直接性的特點。

現(xiàn)有的視頻處理方法有的基于手勢識別來模擬鼠標的操作，該方法的不足之處在于用戶仍需采用操作實體鼠標的手勢來操作虛擬鼠標，使用者的體驗較差。

在會議場景或直播場景時，由于在場觀眾與主講人或主播距離很遠，現(xiàn)有技術往往簡單的把主講人或主播的圖像投屏到屏幕上，再用另外的屏幕顯示演講內(nèi)容，也就是說，需要通過不同的顯示裝置分別顯示主講人和演講內(nèi)容，觀眾很難同時關注到演講內(nèi)容與主講人或主播的形象，觀眾的觀看體驗較差；另外，主講人或主播與演講內(nèi)容無法直接互動，當主講人需要控制演講內(nèi)容的播放時，需要通過鼠標或者激光筆操作，操作較為不便。

發(fā)明內(nèi)容

本申請的目的在于提供實時視頻處理方法、裝置、電子設備及計算機可讀存儲介質，適用范圍廣，可以將人物部分顯示在預設背景中，并實現(xiàn)人物與演講內(nèi)容之間的互動，提升受眾的使用體驗。

本申請的目的采用以下技術方案實現(xiàn)：

第一方面，本申請?zhí)峁┝艘环N實時視頻處理方法，所述方法包括：獲取實時視頻信息和預設背景，所述實時視頻信息是攝像頭拍攝人物得到的；針對所述實時視頻信息的每一幀實時圖像，從所述實時圖像中獲取人物輪廓區(qū)域，以及根據(jù)所述實時圖像獲取手勢信息；從所述實時圖像中獲取所述人物輪廓區(qū)域對應的部分圖像，記為人物部分；將所述人物部分顯示在所述預設背景中；基于所述手勢信息生成控制指令或者不執(zhí)行任何操作，所述控制指令用于控制以下至少一種操作：所述預設背景的播放操作；所述人物部分在所述預設背景中的移動操作；所述人物部分在所述預設背景中的縮放操作。該技術方案的有益效果在于，一方面，可以根據(jù)實時視頻信息得到實時圖像，獲取實時圖像中的人物部分，將人物部分顯示在預設背景中，預設背景可以是圖片、PPT、視頻等，該方法可以應用于大型會議現(xiàn)場、發(fā)布會現(xiàn)場、直播室等場景，適用范圍廣，可以利用該方法將報告人、發(fā)言人、主播、演講人的形象摳取出來嵌入到演講內(nèi)容中，實時投屏到屏幕上，使得在場觀眾可以同時關注屏幕內(nèi)容與該人物的形象，實現(xiàn)較佳的視聽效果；另一方面，可以根據(jù)實時圖像獲取手勢信息，基于該手勢信息生成控制指令，實現(xiàn)人物與演講內(nèi)容之間的互動，控制指令可以用于控制預設背景的播放，無需利用鼠標等電子設備控制預設背景的播放，操作更為直接、簡便，提升人物、觀眾、使用者等受眾的使用體驗，控制指令還可以用于控制人物部分在預設背景中的大小和/或位置，可以將人物部分移動至需要提示的指定區(qū)域，還可以實時縮小人物部分或者放大人物部分，避免人物部分過大時遮擋住預設背景中的重要內(nèi)容或者人物部分過小時觀眾無法看清人物，智能化程度高。