[發明專利]基于人工智能的預訓練優化方法、裝置、設備及介質

在審

• 申請號: 202211082546.7
• 申請日: 2022-09-06
• 公開（公告）號: CN115620749A
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 張之勇;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/03;G06F18/23213;G06F18/214;G06N3/09;G06N3/0464;G06N3/0442
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 姚章國

1.一種基于人工智能的預訓練優化方法，其特征在于，所述預訓練優化方法包括：

針對訓練集中任一句級語音，使用第一情感預測模型提取所述句級語音中每一幀數據對應的幀級特征，將所述句級語音的句級情感標簽作為所述幀級特征的情感類別，得到所述訓練集中所有幀數據的幀級特征對應的情感類別；

針對任一情感類別，將屬于所述情感類別的所有幀級特征輸入預設編碼器進行編碼，從所述情感類別的所有幀級特征中隨機選擇至少一個幀級特征輸入預設預測網絡進行預測；

以編碼的結果與預測的結果的負余弦相似度最小化為目標，訓練所述預設編碼器，得到訓練好的預設編碼器，將屬于所述情感類別的所有幀級特征輸入所述訓練好的預設編碼器，輸出對應的更新幀級特征，得到所述訓練集中所有幀數據的更新幀級特征；

根據所有幀數據的更新幀級特征及對應的情感類別，對所有的更新幀級特征進行聚類，并根據聚類結果對所有的更新幀級特征對應的情感類別進行更新，確定更新結果為對應幀數據的偽標簽；

以所述訓練集中所有幀數據的偽標簽為依據，使用所述訓練集對第二情感預測模型進行訓練，得到預訓練好的第二情感預測模型，所述第一情感預測模型和所述第二情感預測模型均具有時間步長對齊的特征編碼器。

2.根據權利要求1所述的預訓練優化方法，其特征在于，根據所有幀數據的更新幀級特征及對應的情感類別，對所有的更新幀級特征進行聚類，并根據聚類結果對所有的更新幀級特征對應的情感類別進行更新，確定更新結果為對應幀數據的偽標簽包括：

對所有情感類別的幀級特征進行聚類，得到N個聚類中心點，N為大于零的整數；

將屬于同一情感類別的所有幀級特征的均值作為錨點，得到M個錨點，計算所有聚類中心點分別與每個錨點的距離，M為大于零的整數；

針對任一聚類中心點，確定與所述聚類中心點的距離最近的錨點為目標錨點，在所述目標錨點滿足預設條件時，將所述目標錨點對應的句級情感標簽作為所述聚類中心點內所有幀級特征的偽標簽，得到所述訓練集中所有幀數據的偽標簽。

3.根據權利要求2所述的預訓練優化方法，其特征在于，在計算所有聚類中心點分別與每個錨點的距離之后，還包括：

針對任一聚類中心點，確定所有與所述聚類中心點的距離小于第以距離閾值的錨點；

確定與所述聚類中心點的距離最近的錨點為目標錨點包括：

從所有與所述聚類中心點的距離小于所述第一距離閾值的錨點中確定與所述聚類中心點的距離最近的錨點為目標錨點。

4.根據權利要求2所述的預訓練優化方法，其特征在于，針對任一聚類中心點，確定與所述聚類中心點的距離最近的錨點為目標錨點，在所述目標錨點滿足預設條件時，將所述目標錨點對應的句級情感標簽作為所述聚類中心點內所有幀級特征的偽標簽包括：

針對任一聚類中心點，確定與所述聚類中心點的距離最近的錨點為目標錨點；

檢測所述目標錨點與所述聚類中心點的距離是否小于第二距離閾值；

若檢測到所述目標錨點與所述聚類中心點的距離小于所述第二距離閾值，則確定所述目標錨點滿足預設條件，將所述目標錨點對應的句級情感標簽作為所述聚類中心點內所有幀級特征的偽標簽。

5.根據權利要求4所述的預訓練優化方法，其特征在于，在檢測所述目標錨點與所述聚類中心點的距離是否小于第二距離閾值之后，還包括：

若檢測到所述目標錨點與所述聚類中心點的距離不小于所述第二距離閾值，則確定所述目標錨點不滿足預設條件，創建其他類錨點，將所述其他類錨點所定義的句級情感標簽作為所述聚類中心點內所有幀級特征的偽標簽。