[發明專利]預訓練模型的獲取方法和裝置

有效

• 申請號: 202110274515.0
• 申請日: 2021-03-15
• 公開（公告）號: CN112668671B
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 牛國成;李偉;高參;肖欣延;吳華
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F40/42;G06F40/295
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 田宏賓

1.一種預訓練模型的獲取方法，包括：

獲取訓練數據，所述訓練數據包括單模語料和多模語料，其中多模語料包括第一模態語料和第二模態語料構成的語料對；

對所述訓練數據中的多模語料進行改寫擴展和檢索擴展中的至少一種，將擴展得到的多模語料添加至所述訓練數據中；

利用所述訓練數據對預訓練模型進行多任務訓練，所述多任務包括：至少一個跨模態對比學習任務和至少一個單模學習任務；

其中所述跨模態對比學習任務包括：利用所述預訓練模型對多模語料中第一模態語料的向量表示和第二模態語料的向量表示，確定所述多模語料中第一模態語料和第二模態語料之間的相似度；訓練目標為最大化正例多模語料中第一模態語料和第二模態語料之間的相似度，最小化負例多模語料中第一模態語料和第二模態語料之間的相似度；

所述單模學習任務包括：利用所述預訓練模型對單模語料中第一部分內容的向量表示，預測該單模語料中第二部分內容；訓練目標為最小化預測得到的第二部分內容與該單模語料中第二部分內容的差異；

其中，確定所述多模語料中第一模態語料和第二模態語料之間的相似度包括：對于檢索擴展得到的多模語料，將所述預訓練模型對第一模態語料得到的向量表示和所述預訓練模型對第二模態語料得到的向量表示進行相似度計算；對于改寫擴展得到的多模語料，將第一模態語料和第二模態語料進行拼接，將所述預訓練模型對拼接后語料得到的向量表示映射為相似度取值；

所述單模語料包括：圖像、文本、視頻或音頻；

所述多模語料包括圖像、文本、視頻或音頻中的兩種構成的語料對。

2.根據權利要求1所述的方法，其中，所述改寫擴展包括：

若正例多模語料中的第一模態語料為第一語種的文本，則利用翻譯模型將該第一語種的文本翻譯為第二語種的文本后再翻譯回第一語種，將翻譯后得到的第一語種的文本與該正例多模語料中的第二模態語料構建新的正例多模語料；或者，

將正例多模語料中的第一模態語料解析為場景圖，隨機替換掉所述場景圖中的實體、屬性和關系中的至少一種，將替換后得到的場景圖轉換回第一模態語料，將轉換后得到的第一模態語料與該正例多模語料中的第二模態語料構建新的負例多模語料。

3.根據權利要求1所述的方法，其中，所述檢索擴展包括：

將正例多模語料中的第一模態語料在第一模態語料庫中進行檢索，利用檢索得到的語料與該正例多模語料中的第二模態語料構建新的正例多模語料。

4.根據權利要求1所述的方法，其中，所述單模學習任務還包括：

利用所述預訓練模型對所述多模語料中第一模態語料中第一部分內容的向量表示以及第二模態語料的向量表示，預測該第一模態語料中第二部分內容；訓練目標為最小化預測得到的第二部分內容與該第一模態語料中第二部分內容的差異。

5.根據權利要求1所述的方法，其中，在所述多任務訓練時，利用構建的總損失函數更新所述預訓練模型的參數；

所述總損失函數由所述至少一個跨模態對比學習任務的損失函數和所述至少一個單模學習任務的損失函數之和得到。