[發(fā)明專利]多模信息識別方法、裝置、存儲介質(zhì)及電子設備

在審

• 申請?zhí)枺?/td>: 201911410099.1
• 申請日: 2019-12-31
• 公開（公告）號: CN111144360A
• 公開（公告）日: 2020-05-12
• 發(fā)明（設計）人: 王猛;敖乃翔;王德勇;師文喜;張鑫;吳少強;王宇琪;趙學義;劉海強;馬磊
• 申請（專利權(quán)）人: 新疆聯(lián)海創(chuàng)智信息科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 林哲生

1.一種多模信息識別方法，其特征在于，包括：

獲取待識別視頻的特征參數(shù)，所述特征參數(shù)至少包括人臉特征信息、人物行為特征信息、活動場景特征信息、字幕內(nèi)容特征信息、視頻背景特征信息、音頻特征信息中的一個或多個；

將所述特征參數(shù)輸入經(jīng)過訓練的目標信息預警模型，由所述目標預警模型輸出目標視頻表達傾向。

2.根據(jù)權(quán)利要求1所述的多模信息識別方法，其特征在于，還包括：

獲取用戶基于所述目標視頻表達傾向觸發(fā)的用戶確認結(jié)果；

基于所述用戶確認結(jié)果，生成正負樣本集合；

基于所述正負樣本集合，訓練所述目標信息預警模型。

3.根據(jù)權(quán)利要求1所述的多模信息識別方法，其特征在于，所述將所述特征參數(shù)輸入經(jīng)過訓練的目標信息預警模型，由所述目標預警模型輸出目標視頻表達傾向，包括：

獲取每個特征參數(shù)在所述目標信息預警模型中的權(quán)重；

基于所述權(quán)重，將輸入所述目標信息預警模型的所述特征參數(shù)進行加權(quán)處理，輸出目標視頻表達傾向。

4.根據(jù)權(quán)利要求2所述的多模信息識別方法，其特征在于，所述基于所述正負樣本集合，訓練所述目標信息預警模型，包括：

獲取所述正負樣本集合中各視頻的索引信息；

基于所述索引信息，訓練所述目標信息預警模型。

5.一種多模信息識別裝置，其特征在于，包括：

第一獲取模塊，用于獲取待識別視頻的特征參數(shù)，所述特征參數(shù)至少包括人臉特征信息、人物行為特征信息、活動場景特征信息、字幕內(nèi)容特征信息、視頻背景特征信息、音頻特征信息中的一個或多個；

處理模塊，用于將所述特征參數(shù)輸入經(jīng)過訓練的目標信息預警模型，由所述目標預警模型輸出目標視頻表達傾向。

6.根據(jù)權(quán)利要求5所述的多模信息識別裝置，其特征在于，還包括：

第二獲取模塊，用于獲取用戶基于所述目標視頻表達傾向觸發(fā)的用戶確認結(jié)果；

生成模塊，用于基于所述用戶確認結(jié)果，生成正負樣本集合；

訓練模塊，用于基于所述正負樣本集合，訓練所述目標信息預警模型。

7.根據(jù)權(quán)利要求5所述的多模信息識別裝置，其特征在于，所述處理模塊包括：

第一獲取單元，用于獲取每個特征參數(shù)在所述目標信息預警模型中的權(quán)重；

處理單元，用于基于所述權(quán)重，將輸入所述目標信息預警模型的所述特征參數(shù)進行加權(quán)處理，輸出目標視頻表達傾向。

8.根據(jù)權(quán)利要求6所述的多模信息識別裝置，其特征在于，所述訓練模塊包括：

第二獲取單元，用于獲取所述正負樣本集合中各視頻的索引信息；

訓練單元，用于基于所述索引信息，訓練所述目標信息預警模型。

9.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)包括存儲的程序，其中，在所述程序運行時控制所述存儲介質(zhì)所在設備執(zhí)行權(quán)利要求1至4中任意一項所述的多模信息識別方法。

10.一種電子設備，設備包括至少一個處理器、以及與處理器連接的至少一個存儲器、總線；其中，所述處理器、所述存儲器通過所述總線完成相互間的通信；所述處理器用于調(diào)用所述存儲器中的程序指令，以執(zhí)行如權(quán)利要求1至4中任意一項所述的多模信息識別方法。