[發明專利]增強演奏場景合成控制方法及裝置

有效

• 申請號: 201611128425.6
• 申請日: 2016-12-09
• 公開（公告）號: CN106648083B
• 公開（公告）日: 2019-12-31
• 發明（設計）人: 寧華龍
• 申請（專利權）人: 廣州華多網絡科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F9/451;G06K9/00;H04N21/2187
• 代理公司: 11330 北京市立方律師事務所
• 代理人: 王增鑫

本發明提供了一種增強演奏場景合成控制方法及裝置。方法包括，首先添加預定的虛擬樂器的對應圖像到從攝像單元獲取且將被推送到直播間的音視頻流中；從該音視頻流中的圖像流中識別出作用于該虛擬樂器的演奏控制部位的用戶手勢，伴隨該用戶手勢在該音視頻流的圖像流中改變所述演奏控制部位的控制狀態，且調用與該虛擬樂器相對應的音頻配置信息，生成插入到該音視頻流中的與該演奏控制部位的控制狀態相適應的音頻流；將包含有所述圖像流和所述音頻流的合成音視頻流推送到所述的直播間。本發明結合虛擬樂器生成技術和手勢分析技術，實現了在網絡直播間中進行虛擬樂器演奏直播。

技術領域

本發明涉及計算機技術領域，特別涉及一種增強演奏場景合成控制方法及裝置。

背景技術

增強現實(Augmented Reality，簡稱AR)技術，是一種實時地計算攝影機影像的位置及角度并加上相應圖像的技術，這種技術的目標是在屏幕上把虛擬世界套在現實世界并進行互動。AR技術不僅展現了真實世界的信息，而且能將虛擬的信息同時顯示出來，兩種信息相互補充、疊加。在視覺化的增強現實中，用戶利用頭盔顯示器，把真實世界與電腦圖形多重合成在一起，便可以看到真實的世界圍繞著它。該技術包含了虛擬現實(VR)技術、多媒體、三維建模、實時視頻顯示及控制、多傳感器融合、實時跟蹤及注冊、場景融合等新技術。隨著電子產品運算能力的提升，增強現實的用途越來越廣。

在音樂演奏的應用中，增強現實技術就能夠得到充分的應用。隨著VR(虛擬現實)技術的發展，特定樂器3D模型場景的生成已經成為現實，將其與增強現實技術中其他技術內容相結合完全可以實現對虛擬樂器的模擬和交互，這能夠為廣大音樂演奏者大大擴展樂器選擇范圍，例如申請公布號為CN103456286的發明專利申請就形成了虛擬鼓并進行演奏，申請公布號為CN105786162的發明專利申請甚至提供了虛擬演奏指揮方法。然而，增強現實技術提供的虛擬演奏中樂器由VR技術提供，聲音則由相關數據庫提供并伴隨虛擬樂器的演奏而產生，只能實現演奏者與虛擬樂器的交互，可見的演奏場景仍然是虛擬的，而且僅演奏者自己可見，而在網絡直播場景中需要除演奏者之外的觀眾都能夠看到真實或者是接近真實的樂器、演奏者影像以及演奏過程，在近年來蓬勃發展的網絡直播領域未見使用虛擬樂器進行網絡直播的技術，也即增強現實技術在樂器演奏上的應用仍然在網絡直播中無法實現。

發明內容

基于此，為了實現增強現實技術在樂器演奏網絡直播中的應用，提供一種增強演奏場景合成控制方法及裝置。

一種增強演奏場景合成控制方法，包括下列步驟：

添加預定的虛擬樂器的對應圖像到從攝像單元獲取且將被推送到直播間的音視頻流中；

從該音視頻流中的圖像流中識別出作用于該虛擬樂器的演奏控制部位的用戶手勢，伴隨該用戶手勢在該音視頻流的圖像流中改變所述演奏控制部位的控制狀態，且調用與該虛擬樂器相對應的音頻配置信息，生成插入到該音視頻流中的與該演奏控制部位的控制狀態相適應的音頻流；

將包含有所述圖像流和所述音頻流的合成音視頻流推送到所述的直播間。

在其中一個實施例中，所述伴隨該用戶手勢在該音視頻流的圖像流中改變所述演奏控制部位的控制狀態的步驟具體包括：

檢測到所述用戶手勢的幀信息滿足據以判定所述演奏控制部位的控制變化的參考信息，以預定時間間隔連續記錄所述用戶手勢的幀信息并得到累積幀數；

當所述累積幀數達到預定幀數，確定所述用戶手勢對應的所述演奏控制部位的控制變化；

響應于所述控制變化，改變所述演奏控制部位的控制狀態。

在其中一個實施例中，添加預定的虛擬樂器的對應圖像到從攝像單元獲取且將被推送到直播間的音視頻流中的步驟包括：

確定被用戶選擇的預定的虛擬樂器的樂器類型，獲取與所述樂器類型相對應的配置文件；