[發(fā)明專利]圖像描述模型的訓(xùn)練方法和裝置、設(shè)備、介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810242761.6
• 申請(qǐng)日: 2018-03-22
• 公開（公告）號(hào): CN108416059B
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 劉?；?/a>;李鴻升;邵婧;陳大鵬;王曉剛
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號(hào): G06F16/58
• 分類號(hào): G06F16/58
• 代理公司: 北京思源智匯知識(shí)產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

1.一種圖像描述模型的訓(xùn)練方法，其特征在于，所述圖像描述模型包括圖像編碼器和語(yǔ)言解碼器，所述訓(xùn)練方法包括：

經(jīng)所述圖像編碼器提取訓(xùn)練圖像集中圖像的圖像特征；

經(jīng)所述語(yǔ)言解碼器將所述圖像特征解碼為自然描述語(yǔ)言；

根據(jù)所述圖像特征檢索所述訓(xùn)練圖像集、并確定所述自然描述語(yǔ)言和檢索結(jié)果之間的差異；

基于所述差異調(diào)整所述圖像編碼器和/或所述語(yǔ)言解碼器的參數(shù)；

所述根據(jù)所述圖像特征檢索所述訓(xùn)練圖像集、并確定所述自然描述語(yǔ)言和檢索結(jié)果之間的差異之前，還包括：

對(duì)自檢索模塊進(jìn)行預(yù)先訓(xùn)練，所述自檢索模塊用于根據(jù)所述圖像特征檢索所述訓(xùn)練圖像集、并確定所述自然描述語(yǔ)言和檢索結(jié)果之間的差異。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述訓(xùn)練圖像集包括有標(biāo)注信息的圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述訓(xùn)練圖像集還包括未標(biāo)注信息的圖像。

4.根據(jù)權(quán)利要求1-3任一所述的方法，其特征在于，所述自檢索模塊包括所述圖像編碼器和檢索編碼器；所述訓(xùn)練圖像集中的圖像與訓(xùn)練詞語(yǔ)集中的詞語(yǔ)存在對(duì)應(yīng)關(guān)系；

所述對(duì)所述自檢索模塊進(jìn)行預(yù)先訓(xùn)練，包括：

將存在對(duì)應(yīng)關(guān)系的圖像和詞語(yǔ)輸入所述自檢索模塊，訓(xùn)練所述自檢索模塊。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對(duì)所述自檢索模塊進(jìn)行預(yù)先訓(xùn)練，包括：

經(jīng)所述檢索編碼器基于所述詞語(yǔ)檢索獲得所述詞語(yǔ)對(duì)應(yīng)的至少一個(gè)預(yù)測(cè)圖像；

對(duì)所述至少一個(gè)預(yù)測(cè)圖像進(jìn)行特征提取，得到至少一個(gè)預(yù)測(cè)圖像特征；

基于所述至少一個(gè)預(yù)測(cè)圖像特征和所述圖像經(jīng)圖像編碼器得到的圖像特征，確定第一差異；

基于所述第一差異調(diào)整所述自檢索模塊的參數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，基于所述至少一個(gè)預(yù)測(cè)圖像特征和所述圖像經(jīng)圖像編碼器得到的圖像特征，確定第一差異，包括：

基于所述至少一個(gè)預(yù)測(cè)圖像特征與所述詞語(yǔ)的詞語(yǔ)特征之間的距離和所述圖像特征與所述詞語(yǔ)特征之間的距離，確定第一差異。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述圖像特征檢索所述訓(xùn)練圖像集、并確定所述自然描述語(yǔ)言和檢索結(jié)果之間的差異之前，還包括：

保持所述圖像編碼器的參數(shù)不變的情形下，對(duì)所述語(yǔ)言解碼器進(jìn)行預(yù)先訓(xùn)練。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述保持所述圖像編碼器的參數(shù)不變的情形下，對(duì)所述語(yǔ)言解碼器進(jìn)行預(yù)先訓(xùn)練，包括：

經(jīng)所述語(yǔ)言解碼器將所述語(yǔ)言解碼器獲得的圖像特征解碼為自然描述語(yǔ)言；

基于所述自然描述語(yǔ)言和所述圖像的標(biāo)注信息，訓(xùn)練所述語(yǔ)言解碼器。

9.根據(jù)權(quán)利要求1-3任一所述的方法，其特征在于，所述根據(jù)所述圖像特征檢索所述訓(xùn)練圖像集、并確定所述自然描述語(yǔ)言和檢索結(jié)果之間的差異，包括：

根據(jù)所述自然描述語(yǔ)言進(jìn)行檢索獲得至少一個(gè)檢索圖像；

分別基于所述至少一個(gè)檢索圖像的檢索圖像特征與所述自然描述語(yǔ)言的語(yǔ)言特征，確定所述自然描述語(yǔ)言和檢索結(jié)果之間的差異。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，基于所述差異調(diào)整所述圖像編碼器和/或所述語(yǔ)言解碼器的參數(shù)之前，還包括：

基于所述語(yǔ)言解碼器獲得的自然描述語(yǔ)言和所述圖像的標(biāo)注信息，確定所述圖像描述模型的損失；

基于所述差異調(diào)整所述圖像編碼器和/或所述語(yǔ)言解碼器的參數(shù)，包括：

基于所述差異和/或所述損失，調(diào)整所述圖像編碼器和/或所述語(yǔ)言解碼器的參數(shù)。