[發(fā)明專利]彈幕表情包的生成方法、電子設(shè)備和可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910802153.0
• 申請日: 2019-08-28
• 公開（公告）號: CN110719525A
• 公開（公告）日: 2020-01-21
• 發(fā)明（設(shè)計）人: 馬丹;張進;莫東松;張健;鐘宜峰;馬曉琳;趙璐;王科
• 申請（專利權(quán)）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/435;H04N21/4788;H04N21/488
• 代理公司: 31260 上海晨皓知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)
• 代理人: 成麗杰

1.一種彈幕表情包生成方法，其特征在于，包括：

接收輸入信息；

提取視頻中的各視頻幀；

將所述輸入信息與各所述視頻幀進行匹配，并根據(jù)匹配的結(jié)果確定目標(biāo)視頻幀；

根據(jù)所述目標(biāo)視頻幀和所述輸入信息生成彈幕表情包。

2.根據(jù)權(quán)利要求1所述的彈幕表情包生成方法，其特征在于，所述將所述輸入信息與各所述視頻幀進行匹配，包括：

獲取所述輸入信息的情感類型；

獲取各所述視頻幀的情感類型；

將所述輸入信息的情感類型與各所述視頻幀的情感類型進行匹配。

3.根據(jù)權(quán)利要求2所述的彈幕表情包生成方法，其特征在于，所述將所述輸入信息的情感類型與各所述視頻幀的情感類型進行匹配，包括：

根據(jù)所述輸入信息的情感類型，獲取所述輸入信息的情感分?jǐn)?shù)；

根據(jù)各所述視頻幀的情感類型，獲取各所述視頻幀的情感分?jǐn)?shù)；

獲取所述輸入信息的情感分?jǐn)?shù)與各所述視頻幀的情感分?jǐn)?shù)的分?jǐn)?shù)差，并將所述分?jǐn)?shù)差作為所述匹配的結(jié)果。

4.根據(jù)權(quán)利要求3所述的彈幕表情包生成方法，其特征在于，所述獲取各所述視頻幀的情感類型，具體為：

獲取各所述視頻幀針對預(yù)設(shè)的各情感因子的情感類型；

所述根據(jù)各所述視頻幀的情感類型，獲取各所述視頻幀的情感分?jǐn)?shù)，包括：

獲取各所述視頻幀的不同情感類型分別對應(yīng)的類型分?jǐn)?shù)；

根據(jù)各所述視頻幀的不同情感類型分別對應(yīng)的類型分?jǐn)?shù)，獲取各所述視頻幀的情感分?jǐn)?shù)。

5.根據(jù)權(quán)利要求4所述的彈幕表情包生成方法，其特征在于，所述預(yù)設(shè)的情感因子包括以下任意組合：人臉、表情、動作。

6.根據(jù)權(quán)利要求4所述的彈幕表情包生成方法，其特征在于，所述預(yù)設(shè)的情感因子包括人臉、表情和動作；

所述獲取各所述視頻幀針對預(yù)設(shè)的各情感因子的情感類型，具體為：

根據(jù)預(yù)先訓(xùn)練的分類模型，獲取各所述視頻幀針對各情感因子的情感類型；其中，所述分類模型的模型參數(shù)的參數(shù)值基于以下?lián)p失函數(shù)訓(xùn)練得到：

其中，所述L為訓(xùn)練的所述分類模型的模型參數(shù)的參數(shù)值，所述w為所述模型參數(shù)，所述L_{entro_face}(w)為基于人臉訓(xùn)練數(shù)據(jù)集的交叉熵?fù)p失函數(shù)，所述L_{entro_emotion}(w)為基于表情訓(xùn)練數(shù)據(jù)集的交叉熵?fù)p失函數(shù)，所述L_{entro_motion}為的基于動作訓(xùn)練數(shù)據(jù)集的交叉熵?fù)p失函數(shù)，所述λΩ(w)為正則化項，所述α，β，χ為預(yù)設(shè)權(quán)值。

7.根據(jù)權(quán)利要求2所述的彈幕表情包生成方法，其特征在于，所述輸入信息包括文本信息，所述獲取所述輸入信息的情感類型，包括：

對所述文本信息進行分詞，得到N個詞；其中，所述N為大于1的自然數(shù)；

分別獲取所述N個詞的情感類型；

分別對所述N個詞的情感類型對應(yīng)的情感分?jǐn)?shù)增加第一分?jǐn)?shù)；

將最高的情感分?jǐn)?shù)對應(yīng)的情感類型確定為所述輸入信息的情感類型。

8.根據(jù)權(quán)利要求7所述的彈幕表情包生成方法，其特征在于，在所述分別對所述N個詞的情感類型對應(yīng)的情感分?jǐn)?shù)增加第一分?jǐn)?shù)后，還包括：

若檢測到所述N個詞中的第i個詞滿足預(yù)設(shè)條件，則對所述第i個詞的情感類型對應(yīng)的情感分?jǐn)?shù)再增加第二分?jǐn)?shù)；其中，所述預(yù)設(shè)條件包括以下任意之一或其組合：

所述第i個詞的前一個詞為預(yù)設(shè)的表征情感程度的詞、所述第i個詞的后一個詞為預(yù)設(shè)的表征情感程度的詞、所述第i個詞后的標(biāo)點為預(yù)設(shè)的表征情感程度的標(biāo)點；

若檢測到所述第i個詞的前一個詞為預(yù)設(shè)的否定詞，則對所述第i個詞的情感類型對應(yīng)的情感分?jǐn)?shù)減去第三分?jǐn)?shù)。