[發(fā)明專利]在視頻中添加特效的方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011008399.X
• 申請(qǐng)日: 2020-09-23
• 公開(kāi)（公告）號(hào): CN112422844A
• 公開(kāi)（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 陳波;李佩易;李滇博;孫若宇;向彬
• 申請(qǐng)（專利權(quán)）人: 上海嗶哩嗶哩科技有限公司
• 主分類號(hào): H04N5/262
• 分類號(hào): H04N5/262
• 代理公司: 北京英特普羅知識(shí)產(chǎn)權(quán)代理有限公司 11015
• 代理人: 程超

1.一種在視頻中添加特效的方法，其特征在于，所述方法包括：

獲取待處理視頻，并按照設(shè)定時(shí)間間隔定期從所述待處理視頻中截取目標(biāo)圖像；

確定出與包含在所述目標(biāo)圖像中的人臉信息對(duì)應(yīng)的目標(biāo)表情類型；

根據(jù)所述目標(biāo)表情類型獲取對(duì)應(yīng)的特效包；其中，所述特效包包括多種特效元素；

將所述多種特效元素添加到所述待處理視頻中。

2.根據(jù)權(quán)利要求1所述的在視頻中添加特效的方法，其特征在于，所述確定出與包含在所述目標(biāo)圖像中的人臉信息對(duì)應(yīng)的目標(biāo)表情類型，包括：

從所述目標(biāo)圖像中識(shí)別出人臉區(qū)域，并從所述人臉區(qū)域中提取出人臉特征信息；

將所述人臉特征信息輸入到預(yù)設(shè)的表情識(shí)別模型中，得到各種表情類型下的概率值；

將最大概率值所對(duì)應(yīng)的表情類型確定為目標(biāo)表情類型。

3.根據(jù)權(quán)利要求1所述的在視頻中添加特效的方法，其特征在于，所述確定出與包含在所述目標(biāo)圖像中的人臉信息對(duì)應(yīng)的目標(biāo)表情類型，包括：

當(dāng)所述待處理視頻為實(shí)時(shí)拍攝傳輸視頻時(shí)，將所述目標(biāo)圖像發(fā)送至云端服務(wù)器，以通過(guò)所述云端服務(wù)器確定出與所述人臉信息對(duì)應(yīng)的目標(biāo)表情類型；

當(dāng)所述待處理視頻為錄制視頻時(shí)，通過(guò)運(yùn)行本地的軟件開(kāi)發(fā)工具包SDK以確定出與所述人臉信息對(duì)應(yīng)的目標(biāo)表情類型。

4.根據(jù)權(quán)利要求1所述的在視頻中添加特效的方法，其特征在于，所述根據(jù)所述目標(biāo)表情類型獲取對(duì)應(yīng)的特效包，包括：

檢測(cè)終端網(wǎng)絡(luò)狀態(tài)；

判斷所述終端網(wǎng)絡(luò)狀態(tài)是否滿足預(yù)設(shè)網(wǎng)絡(luò)條件；

若是，則從云端服務(wù)器獲取與所述目標(biāo)表情類型對(duì)應(yīng)的特效包：其中，所述云端服務(wù)器存儲(chǔ)有與所述目標(biāo)表情類型對(duì)應(yīng)的多個(gè)特效包；

若否，則從本地?cái)?shù)據(jù)庫(kù)中獲取與所述目標(biāo)表情類型對(duì)應(yīng)的特效包；其中，所述本地?cái)?shù)據(jù)庫(kù)存儲(chǔ)有與所述目標(biāo)表情類型對(duì)應(yīng)的一個(gè)特效包。

5.根據(jù)權(quán)利要求1或4所述的在視頻中添加特效的方法，其特征在于，所述根據(jù)所述目標(biāo)表情類型獲取對(duì)應(yīng)的特效包，包括：

在直播場(chǎng)景中，識(shí)別出包含在所述目標(biāo)圖像中的彈幕信息；

判斷在所述彈幕信息中是否包括預(yù)設(shè)的表情主題詞；

若是，則根據(jù)所述目標(biāo)表情類型和所述表情主題詞獲取對(duì)應(yīng)的特效包；若否，則根據(jù)所述目標(biāo)表情類型獲取對(duì)應(yīng)的特效包。

6.根據(jù)權(quán)利要求5所述的在視頻中添加特效的方法，其特征在于，所述根據(jù)所述目標(biāo)表情類型和所述表情主題詞獲取對(duì)應(yīng)的特效包，包括：

判斷所述表情主題詞所表征的表情類型是否與所述目標(biāo)表情類型一致；

若是，則獲取與所述表情主題詞對(duì)應(yīng)的主題特效包；若否，則獲取與所述目標(biāo)表情類型對(duì)應(yīng)的通用特效包。

7.根據(jù)權(quán)利要求1所述的在視頻中添加特效的方法，其特征在于，所述將所述多種特效元素添加到所述待處理視頻中，包括：

當(dāng)所述待處理視頻為實(shí)時(shí)拍攝傳輸視頻時(shí)，從當(dāng)前播放圖像開(kāi)始，按照預(yù)設(shè)的特效顯示時(shí)長(zhǎng)添加所述多種特效元素；

當(dāng)所述待處理視頻為錄制視頻時(shí)，從所述目標(biāo)圖像開(kāi)始，按照預(yù)設(shè)的特效顯示時(shí)長(zhǎng)添加所述多種特效元素。

8.一種在視頻中添加特效的裝置，其特征在于，所述裝置包括：

截取模塊，用于獲取待處理視頻，并按照設(shè)定時(shí)間間隔定期從所述待處理視頻中截取目標(biāo)圖像；

確定模塊，用于確定出與包含在所述目標(biāo)圖像中的人臉信息對(duì)應(yīng)的目標(biāo)表情類型；

獲取模塊，用于根據(jù)所述目標(biāo)表情類型獲取對(duì)應(yīng)的特效包；其中，所述特效包包括多種特效元素；

添加模塊，用于將所述多種特效元素添加到所述待處理視頻中。

9.一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括：存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述方法的步驟。