[發(fā)明專利]表情預(yù)測模型的訓(xùn)練方法、識(shí)別方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202011423816.7
• 申請日: 2020-12-08
• 公開（公告）號(hào): CN112528835B
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 楊少雄;趙洋
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/82;G06N3/0442;G06N3/0464;G06N3/094;G06N3/0455
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 鈄颯颯;臧建明

1.一種表情預(yù)測模型的訓(xùn)練方法，包括：

對待訓(xùn)練的音頻信息進(jìn)行特征提取，得到音頻特征；

根據(jù)表情預(yù)測模型中的解碼器，對所述音頻特征進(jìn)行語義分析，得到與所述待訓(xùn)練的音頻信息對應(yīng)的表情特征；

重復(fù)以下步驟，直至得到成熟的表情預(yù)測模型：根據(jù)預(yù)設(shè)的表情預(yù)測模型對所述表情特征和預(yù)設(shè)標(biāo)定特征進(jìn)行處理，得到所述表情特征與所述預(yù)設(shè)標(biāo)定特征之間的表情差異特征，其中，所述預(yù)設(shè)標(biāo)定特征表征面部在無表情時(shí)的面部表情特征；根據(jù)所述表情差異特征對所述表情預(yù)測模型的參數(shù)進(jìn)行調(diào)整；

其中，所述成熟的表情預(yù)測模型用于識(shí)別待處理的音頻信息所表征的表情；

其中，根據(jù)預(yù)設(shè)的表情預(yù)測模型對所述表情特征和預(yù)設(shè)標(biāo)定特征進(jìn)行處理，得到所述表情特征與所述預(yù)設(shè)標(biāo)定特征之間的表情差異特征，包括：

根據(jù)所述表情預(yù)測模型對所述表情特征對應(yīng)的面部頂點(diǎn)和預(yù)設(shè)標(biāo)定特征對應(yīng)的面部頂點(diǎn)進(jìn)行處理，得到所述表情差異特征，其中，所述表情差異特征表征所述表情特征對應(yīng)的面部頂點(diǎn)、所述預(yù)設(shè)標(biāo)定特征對應(yīng)的面部頂點(diǎn)之間的差異。

2.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)所述表情預(yù)測模型對所述表情特征對應(yīng)的面部頂點(diǎn)和預(yù)設(shè)標(biāo)定特征對應(yīng)的面部頂點(diǎn)進(jìn)行處理，得到所述表情差異特征，包括：

根據(jù)所述表情預(yù)測模型中的編碼器對所述表情特征進(jìn)行編碼，得到編碼信息；

根據(jù)所述表情預(yù)測模型中的解碼器，提取所述編碼信息中的所述表情特征對應(yīng)的面部頂點(diǎn)；

根據(jù)所述表情預(yù)測模型中的解碼器，對所述表情特征對應(yīng)的面部頂點(diǎn)和預(yù)設(shè)標(biāo)定特征對應(yīng)的面部頂點(diǎn)進(jìn)行處理，得到所述表情差異特征。

3.根據(jù)權(quán)利要求1所述的方法，所述方法還包括：

獲取面部在無表情時(shí)的二維圖像；

對所述二維圖像進(jìn)行三維重建處理，獲得三維模型，并提取所述三維模型中的所述預(yù)設(shè)標(biāo)定特征。

4.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)所述表情差異特征對所述表情預(yù)測模型的參數(shù)進(jìn)行調(diào)整，包括：

根據(jù)所述表情差異特征確定表情預(yù)測結(jié)果；

根據(jù)所述表情預(yù)測結(jié)果與所述待訓(xùn)練的音頻信息的表情標(biāo)定結(jié)果的一致程度，對所述表情預(yù)測模型的參數(shù)進(jìn)行調(diào)整。

5.根據(jù)權(quán)利要求4所述的方法，其中，在得到所述成熟的表情預(yù)測模型時(shí)，所述表情預(yù)測結(jié)果與所述表情標(biāo)定結(jié)果是一致的。

6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其中，所述待訓(xùn)練的音頻信息為多個(gè)，每一所述待訓(xùn)練的音頻信息具有對應(yīng)的角色；根據(jù)預(yù)設(shè)的表情預(yù)測模型對所述表情特征和預(yù)設(shè)標(biāo)定特征進(jìn)行處理，得到所述表情特征與所述預(yù)設(shè)標(biāo)定特征之間的表情差異特征，包括：

根據(jù)所述表情預(yù)測模型中的與每一角色對應(yīng)的解碼器，對每一所述待訓(xùn)練的音頻信息的表情特征、以及預(yù)設(shè)標(biāo)定特征進(jìn)行處理，得到每一所述待訓(xùn)練的音頻信息的表情差異特征。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述待訓(xùn)練的音頻信息為多個(gè)，每一所述待訓(xùn)練的音頻信息具有對應(yīng)的角色；對待訓(xùn)練的音頻信息進(jìn)行語義分析，得到與所述待訓(xùn)練的音頻信息對應(yīng)的表情特征，包括：

根據(jù)所述表情預(yù)測模型中的與每一角色對應(yīng)的解碼器，對每一角色對應(yīng)的待訓(xùn)練的音頻信息進(jìn)行語義分析，得到每一所述待訓(xùn)練的音頻信息的表情特征。