[發(fā)明專利]增強演奏場景合成控制方法及裝置

有效

• 申請?zhí)枺?/td>: 201611128425.6
• 申請日: 2016-12-09
• 公開（公告）號: CN106648083B
• 公開（公告）日: 2019-12-31
• 發(fā)明（設計）人: 寧華龍
• 申請（專利權）人: 廣州華多網絡科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F9/451;G06K9/00;H04N21/2187
• 代理公司: 11330 北京市立方律師事務所
• 代理人: 王增鑫

1.一種增強演奏場景合成控制方法，其特征在于，包括下列步驟：

添加預定的虛擬樂器的對應圖像到從攝像單元獲取且將被推送到直播間的音視頻流中；

從該音視頻流中的圖像流中識別出作用于該虛擬樂器的演奏控制部位的用戶手勢，伴隨該用戶手勢在該音視頻流的圖像流中改變所述演奏控制部位的控制狀態(tài)，所述演奏控制部位的控制狀態(tài)有變化，則相應調取與該虛擬樂器相對應的音頻配置信息，生成插入到該音視頻流中的與該演奏控制部位的控制狀態(tài)相適應的音頻流；

將包含有所述圖像流和所述音頻流的合成音視頻流推送到所述的直播間；

其中，所述伴隨該用戶手勢在該音視頻流的圖像流中改變所述演奏控制部位的控制狀態(tài)的步驟具體包括：

檢測到所述用戶手勢的幀信息滿足據(jù)以判定所述演奏控制部位的控制變化的參考信息，以預定時間間隔連續(xù)記錄所述用戶手勢的幀信息并得到累積幀數(shù)；

當所述累積幀數(shù)達到預定幀數(shù)，確定所述用戶手勢對應的所述演奏控制部位的控制變化；

響應于所述控制變化，改變所述演奏控制部位的控制狀態(tài)。

2.根據(jù)權利要求1所述的增強演奏場景合成控制方法，其特征在于，添加預定的虛擬樂器的對應圖像到從攝像單元獲取且將被推送到直播間的音視頻流中的步驟包括：

確定被用戶選擇的預定的虛擬樂器的樂器類型，獲取與所述樂器類型相對應的配置文件；

調取所述配置文件中所指定的虛擬樂器的對應圖像；

通過特定圖像合成算法將所述對應圖像合并到所述直播間的音視頻流中。

3.根據(jù)權利要求1所述的增強演奏場景合成控制方法，其特征在于，所述直播間的音視頻流中包括演奏者三維圖像和預設直播間場景圖像，所述演奏者三維圖像獲取自計算機形成的三維模型，該三維模型包括由實景影像經計算機計算形成的使用者三維虛擬形象，或

由計算機三維動畫形成的動畫形象。

4.根據(jù)權利要求1所述的增強演奏場景合成控制方法，其特征在于，將包含有所述圖像流和所述音頻流的合成音視頻流推送到所述的直播間的步驟還包括，將所述合成音視頻流通過預定壓縮編碼算法進行壓縮編碼，再推送到所述直播間。

5.根據(jù)權利要求1所述的增強演奏場景合成控制方法，其特征在于，從該音視頻流中的圖像流中識別出作用于該虛擬樂器的演奏控制部位的用戶手勢的步驟具體為：

獲取所述圖像流中的演奏者三維圖像，分割出其中人手部分的三維圖像數(shù)據(jù)信息；

利用預定算法檢測出所述人手部分的三維圖像數(shù)據(jù)信息中的手指信息數(shù)據(jù)，并形成手指運動軌跡的信息數(shù)據(jù)；

將所述手指運動軌跡的信息數(shù)據(jù)與所述演奏控制部位的信息數(shù)據(jù)進行數(shù)學合并，據(jù)以實現(xiàn)識別出作用于該虛擬樂器的演奏控制部位的用戶手勢。

6.根據(jù)權利要求1所述的增強演奏場景合成控制方法，其特征在于，所述將包含有所述圖像流和所述音頻流的合成音視頻流推送到所述的直播間的步驟之前還包括，將所述合成音視頻流中的視頻流投射到支持虛擬現(xiàn)實技術的視頻顯示單元，據(jù)以對所述合成音視頻流中的視頻流進行三維視角顯示，同時將合成音視頻流中的音頻流推送到音頻播放單元以進行音頻播放。