[發明專利]交互方法、裝置、設備及存儲介質在審
| 申請號： | 202111507859.8 | 申請日： | 2021-12-10 |
| 公開（公告）號： | CN113923471A | 公開（公告）日： | 2022-01-11 |
| 發明（設計）人： | 葉天兵 | 申請（專利權）人： | 阿里巴巴達摩院（杭州）科技有限公司 |
| 主分類號： | H04N21/233 | 分類號： | H04N21/233;H04N21/2343;H04N21/439;H04N21/4402;H04N7/14;G10L15/22;G10L15/26;G06T13/20;G06T13/40;G06F3/01;G06V40/20 |
| 代理公司： | 北京開陽星知識產權代理有限公司 11710 | 代理人： | 張子青 |
| 地址： | 310023 浙江省杭州市余杭*** | 國省代碼： | 浙江;33 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 交互 方法 裝置 設備 存儲 介質 | ||
1.一種交互方法，其中，所述方法包括：
獲取原音頻流數據和原視頻流數據；
對所述原音頻流數據進行解碼得到原音頻信息，對所述原視頻流數據進行解碼得到原視頻信息，所述原視頻信息包括真實人物；
對所述原音頻信息進行語音識別，并根據語音識別結果生成目標視頻信息，所述目標視頻信息包括第一虛擬人物；
對所述原視頻信息進行動作識別，并根據動作識別結果生成目標音頻信息；
對所述目標視頻信息進行編碼得到目標視頻流數據，對所述目標音頻信息進行編碼得到目標音頻流數據；
推送所述目標視頻流數據和所述目標音頻流數據。
2.根據權利要求1所述的方法，其中，獲取原音頻流數據和原視頻流數據，包括：
從同一個多媒體流數據中獲取所述原音頻流數據和所述原視頻流數據；或者
從第一多媒體流數據中獲取所述原音頻流數據，從第二多媒體流數據中獲取所述原視頻流數據。
3.根據權利要求2所述的方法，其中，從同一個多媒體流數據中獲取所述原音頻流數據和所述原視頻流數據，包括：
若所述多媒體流數據來自于第一用戶和第二用戶共用的終端，則從所述多媒體流數據中分別獲取所述原音頻流數據和所述原視頻流數據。
4.根據權利要求2所述的方法，其中，從第一多媒體流數據中獲取所述原音頻流數據，包括：
若所述第一多媒體流數據來自于第一用戶的第一終端，則從所述第一多媒體流數據中獲取所述原音頻流數據；
從第二多媒體流數據中獲取所述原視頻流數據，包括：
若所述第二多媒體流數據來自于第二用戶的第二終端，則從所述第二多媒體流數據中獲取所述原視頻流數據。
5.根據權利要求1所述的方法，其中，推送所述目標視頻流數據和所述目標音頻流數據，包括：
向同一終端推送所述目標視頻流數據和所述目標音頻流數據；或者
向第一終端推送所述目標音頻流數據，向第二終端推送所述目標視頻流數據；或者
向第一終端推送所述目標視頻流數據和所述目標音頻流數據，或向第二終端推送所述目標視頻流數據和所述目標音頻流數據。
6.根據權利要求5所述的方法，其中，向第一終端推送所述目標視頻流數據和所述目標音頻流數據，包括：
向第一終端推送所述目標視頻流數據、所述目標音頻流數據和第二用戶的原視頻流數據。
7.根據權利要求5所述的方法，其中，向第一終端推送所述目標音頻流數據，包括：
向所述第一終端推送所述目標音頻流數和預設視頻流數據，所述預設視頻流數據包括第二虛擬人物的視頻流數據和/或第二用戶的原視頻流數據;
其中，所述第二虛擬人物的嘴型與所述目標音頻信息相匹配。
8.根據權利要求1所述的方法，其中，對所述原視頻流數據進行解碼得到原視頻信息，包括：
對所述原視頻流數據進行解碼得到第一格式的原視頻信息；
將所述第一格式的原視頻信息，轉換為第二格式的原視頻信息；
相應的，對所述原視頻信息進行動作識別，并根據動作識別結果生成目標音頻信息，包括：
將所述第二格式的原視頻信息中真實人物連續的一個或多個動作識別為一個詞，多個詞構成一個句子；
將每個句子轉換為一個目標音頻信息。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于阿里巴巴達摩院（杭州）科技有限公司，未經阿里巴巴達摩院（杭州）科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202111507859.8/1.html，轉載請聲明來源鉆瓜專利網。
