[發(fā)明專利]表情預(yù)測模型的訓(xùn)練方法、識別方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202011423816.7
• 申請日: 2020-12-08
• 公開（公告）號: CN112528835B
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計）人: 楊少雄;趙洋
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/0442;G06N3/0464;G06N3/094;G06N3/0455
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 鈄颯颯;臧建明

本申請公開了一種表情預(yù)測模型的訓(xùn)練方法、識別方法、裝置、電子設(shè)備以及存儲介質(zhì)，涉及計算機(jī)視覺、語音技術(shù)以及深度學(xué)習(xí)等人工智能技術(shù)領(lǐng)域，包括：對待訓(xùn)練的音頻信息進(jìn)行語義分析，得到與待訓(xùn)練的音頻信息對應(yīng)的表情特征，重復(fù)以下步驟，直至得到成熟的表情預(yù)測模型：根據(jù)預(yù)設(shè)的表情預(yù)測模型對表情特征和預(yù)設(shè)標(biāo)定特征進(jìn)行處理，得到表情特征與預(yù)設(shè)標(biāo)定特征之間的表情差異特征，預(yù)設(shè)標(biāo)定特征表征面部在無表情時的面部表情特征；根據(jù)表情差異特征對表情預(yù)測模型的參數(shù)進(jìn)行調(diào)整，通過基于表情差異特征生成成熟的表情預(yù)測模型，可以降低訓(xùn)練過程的數(shù)據(jù)分析，提高訓(xùn)練效率的技術(shù)效果。

技術(shù)領(lǐng)域

本申請涉及計算機(jī)視覺、語音技術(shù)以及深度學(xué)習(xí)等人工智能技術(shù)領(lǐng)域，尤其涉及一種表情預(yù)測模型的訓(xùn)練方法、識別方法、裝置、電子設(shè)備以及存儲介質(zhì)。

背景技術(shù)

隨著人臉識別的發(fā)展，為了向用戶提供智能化的體驗，可以根據(jù)用戶的語音確定出用戶的表情(即，面部表情、人臉表情)。

現(xiàn)有技術(shù)中，可以通過表情預(yù)測模型得到與語音對應(yīng)的表情，在得到表情之前需要對表情預(yù)測模型進(jìn)行訓(xùn)練；在對表情預(yù)測模型進(jìn)行訓(xùn)練時，先得到語音對應(yīng)的表情特征，然后對全部的表情特征進(jìn)行分析，去優(yōu)化表情預(yù)測模型。

然而現(xiàn)有技術(shù)中，在訓(xùn)練用于識別表情的表情預(yù)測模型時，需要對語音對應(yīng)的全部的表情特征進(jìn)行數(shù)據(jù)分析，進(jìn)而數(shù)據(jù)分析量較大，導(dǎo)致訓(xùn)練時間較長，并且需要消耗大量的資源。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N用于提高訓(xùn)練效率的表情預(yù)測模型的訓(xùn)練方法、識別方法、裝置、電子設(shè)備以及存儲介質(zhì)。

根據(jù)本申請的第一方面，提供了一種表情預(yù)測模型的訓(xùn)練方法，包括：

對待訓(xùn)練的音頻信息進(jìn)行語義分析，得到與所述待訓(xùn)練的音頻信息對應(yīng)的表情特征；

重復(fù)以下步驟，直至得到成熟的表情預(yù)測模型：根據(jù)預(yù)設(shè)的表情預(yù)測模型對所述表情特征和預(yù)設(shè)標(biāo)定特征進(jìn)行處理，得到所述表情特征與所述預(yù)設(shè)標(biāo)定特征之間的表情差異特征，其中，所述預(yù)設(shè)標(biāo)定特征表征面部在無表情時的面部表情特征；根據(jù)所述表情差異特征對所述表情預(yù)測模型的參數(shù)進(jìn)行調(diào)整；

其中，所述成熟的表情預(yù)測模型用于識別待處理的音頻信息所表征的表情。

在本實施例中，通過基于表情差異特征生成成熟的表情預(yù)測模型，可以降低訓(xùn)練過程的數(shù)據(jù)分析，提高訓(xùn)練效率的技術(shù)效果。

根據(jù)本申請的第二方面，提供了一種表情識別方法，包括：

對待預(yù)測的音頻信息進(jìn)行語義分析，得到與所述待預(yù)測的音頻信息對應(yīng)的表情特征；

根據(jù)預(yù)設(shè)的表情預(yù)測模型對所述表情特征進(jìn)行表情預(yù)測處理，得到與所述表情特征對應(yīng)的表情差異特征，其中，所述表情差異特征表征，所述表情特征與面部在無表情時的面部表情特征之間的差異；

根據(jù)所述表情差異特征，確定與所述待預(yù)測的音頻信息對應(yīng)的表情預(yù)測結(jié)果。

根據(jù)本申請的第三方面，提供了一種表情預(yù)測模型的訓(xùn)練裝置，包括：

第一語義分析模塊，用于對待訓(xùn)練的音頻信息進(jìn)行語義分析，得到與所述待訓(xùn)練的音頻信息對應(yīng)的表情特征；

訓(xùn)練模塊，用于重復(fù)以下步驟，直至得到成熟的表情預(yù)測模型：根據(jù)預(yù)設(shè)的表情預(yù)測模型對所述表情特征和預(yù)設(shè)標(biāo)定特征進(jìn)行處理，得到所述表情特征與所述預(yù)設(shè)標(biāo)定特征之間的表情差異特征，其中，所述預(yù)設(shè)標(biāo)定特征表征面部在無表情時的面部表情特征；根據(jù)所述表情差異特征對所述表情預(yù)測模型的參數(shù)進(jìn)行調(diào)整；

其中，所述成熟的表情預(yù)測模型用于識別待處理的音頻信息所表征的表情。

根據(jù)本申請的第四方面，提供了一種表情識別裝置，包括：