[發明專利]一種任務預測方法及裝置

在審

• 申請號: 202011307325.6
• 申請日: 2020-11-20
• 公開（公告）號: CN112418302A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 黃文炳;王一凱;徐挺洋;榮鈺
• 申請（專利權）人: 清華大學;騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 李漢亮

本申請公開一種任務預測方法及裝置；本申請與人工智能的機器學習領域相關，可以獲取預設任務的至少兩個模態的樣本數據、以及至少兩個模態的樣本數據的樣本標簽；通過多模態網絡對樣本數據進行特征提取，得到每個模態的樣本數據對應的特征向量；通過多模態網絡基于特征向量，確定預設任務的任務預測結果；獲取預設任務的至少兩個模態的相似度；基于相似度、任務預測結果以及樣本標簽，對多模態網絡進行訓練，以通過訓練后的多模態網絡進行任務預測；本申請可以提升多模態任務預測的準確率。

技術領域

本申請涉及人工智能領域，具體涉及一種任務預測方法及裝置。

背景技術

在人工智能領域，為了通過網絡模型更全面地進行任務預測，可以通過任務的多個模態的數據進行網絡模型訓練，任務的不同模態的數據之間天然的存在異質性差異，可以通過多模態融合的方式減弱這種異質性差異，比如，可以通過聚合融合的方式，先通過網絡模型的子網絡分別對不同模態的數據進行學習，然后在網絡模型的某一位置將學習到的不同模態的數據信息進行特征融合。

在對現有技術的研究和實踐過程中，本申請的發明人發現，在網絡模型的某一位置將數據信息進行特征融合會對網絡模型的訓練過程產生不利影響，進而導致，基于聚合融合方式的訓練后網絡模型在進行多模態任務預測時準確率較低。

發明內容

本申請實施例提供一種任務預測方法及裝置，可以提升多模態任務預測的準確率。

本申請實施例提供一種任務預測方法，包括：

獲取預設任務的至少兩個模態的樣本數據、以及所述至少兩個模態的樣本數據的樣本標簽；

通過多模態網絡對所述樣本數據進行特征提取，得到每個模態的樣本數據對應的特征向量；

通過所述多模態網絡基于所述特征向量，確定所述預設任務的任務預測結果；

獲取所述預設任務的至少兩個模態的相似度；

基于所述相似度、所述任務預測結果以及所述樣本標簽，對所述多模態網絡進行訓練，以通過訓練后的多模態網絡進行任務預測。

相應地，本申請提供一種任務預測裝置，包括：

樣本獲取模塊，用于獲取預設任務的至少兩個模態的樣本數據、以及所述至少兩個模態的樣本數據的樣本標簽；

特征提取模塊，用于通過多模態網絡對所述樣本數據進行特征提取，得到每個模態的樣本數據對應的特征向量；

預測模塊，用于通過所述多模態網絡基于所述特征向量，確定所述預設任務的任務預測結果；

相似度模塊，用于獲取所述預設任務的至少兩個模態的相似度；

訓練模塊，用于基于所述相似度、所述任務預測結果以及所述樣本標簽，對所述多模態網絡進行訓練，以通過訓練后的多模態網絡進行任務預測。

在一些實施例中，獲取模塊可以包括確定子模塊，其中，

確定子模塊，用于基于每個模態的樣本數據對應的特征向量，確定所述預設任務的至少兩個模態的相似度。

在一些實施例中，預設任務的至少兩個模態包括第一模態和第二模態，確定子模塊可以包括確定單元和計算單元，其中，

確定單元，用于確定目標樣本數據對應的目標樣本標簽，所述目標樣本數據包括第一模態目標樣本和第二模態目標樣本；

計算單元，用于計算第一特征向量和第二特征向量之間的相似度，以確定所述預設任務的第一模態和第二模態之間的相似度，所述第一特征向量為所述第一模態目標樣本的特征向量，所述第二特征向量為所述第二模態目標樣本的特征向量。