[發(fā)明專利]圖像文本之間的匹配度的確定方法及裝置

有效

• 申請?zhí)枺?/td>: 202110724610.6
• 申請日: 2021-06-29
• 公開（公告）號: CN113343664B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計）人: 白亞龍;張煒;梅濤
• 申請（專利權(quán)）人: 京東科技信息技術(shù)有限公司
• 主分類號: G06F40/194
• 分類號: G06F40/194;G06F40/30;G06F18/22;G06F18/214;G06N3/0464;G06N3/08
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種圖像文本之間的匹配度的確定方法，包括：

確定待匹配圖像的圖像特征信息和待匹配文本的文本特征信息；

通過表征邏輯型常識信息的圖卷積網(wǎng)絡(luò)，生成邏輯型常識特征信息；

在所述邏輯型常識特征信息的基礎(chǔ)上，通過表征統(tǒng)計型常識信息的超圖卷積網(wǎng)絡(luò)，生成包括邏輯型常識信息和統(tǒng)計型常識信息的常識特征信息；

確定圖像常識特征信息和文本常識特征信息，包括：從所述常識特征信息中，確定出所述圖像常識特征信息和所述文本常識特征信息，其中，所述圖像常識特征信息表征與所述待匹配圖像中的目標(biāo)信息相關(guān)的常識信息，所述文本常識特征信息表征與所述待匹配文本中的目標(biāo)信息相關(guān)的常識信息；

根據(jù)所述圖像特征信息、所述文本特征信息、所述圖像常識特征信息和所述文本常識特征信息，確定所述待匹配圖像和所述待匹配文本之間的匹配度。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述圖像特征信息、所述文本特征信息、所述圖像常識特征信息和所述文本常識特征信息，確定所述待匹配圖像和所述待匹配文本之間的匹配度，包括：

結(jié)合所述常識特征信息和所述圖像常識特征信息，得到結(jié)合后圖像常識特征信息；

結(jié)合所述常識特征信息和所述文本常識特征信息，得到結(jié)合后文本常識特征信息；

根據(jù)所述圖像特征信息、所述文本特征信息、所述結(jié)合后圖像常識特征信息和所述結(jié)合后文本常識特征信息，確定所述待匹配圖像和所述待匹配文本之間的匹配度。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述根據(jù)所述圖像特征信息、所述文本特征信息、所述結(jié)合后圖像常識特征信息和所述結(jié)合后文本常識特征信息，確定所述待匹配圖像和所述待匹配文本之間的匹配度，包括：

確定所述圖像特征信息和所述文本特征信息之間的第一匹配度，以及所述結(jié)合后圖像常識特征信息和所述結(jié)合后文本常識特征信息之間的第二匹配度；

根據(jù)所述第一匹配度和所述第二匹配度，確定所述待匹配圖像和所述待匹配文本之間的匹配度。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述常識特征信息，確定所述圖像常識特征信息和所述文本常識特征信息，包括：

根據(jù)所述圖像特征信息，確定所述待匹配圖像中的目標(biāo)信息；

根據(jù)所述文本特征信息，確定所述待匹配文本中的目標(biāo)信息；

從所述常識特征信息中確定出對應(yīng)于所述待匹配圖像中的目標(biāo)信息的圖像常識特征信息，以及對應(yīng)于所述待匹配文本中的目標(biāo)信息的文本常識特征信息。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述通過表征邏輯型常識信息的圖卷積網(wǎng)絡(luò)，生成邏輯型常識特征信息，包括：

確定與所述待匹配圖像中的目標(biāo)信息和所述待匹配文本中的目標(biāo)信息對應(yīng)的數(shù)據(jù)集；

將所述數(shù)據(jù)集中的各概念的初始化向量信息輸入所述圖卷積網(wǎng)絡(luò)，生成所述邏輯型常識特征信息。

6.根據(jù)權(quán)利要求5所述的方法，其中，在所述超圖卷積網(wǎng)絡(luò)所表征的超圖中，通過超邊表征所述超邊連接的多個概念之間的語義相關(guān)性。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述確定待匹配圖像的圖像特征信息，包括：

通過目標(biāo)檢測網(wǎng)絡(luò)確定所述待匹配圖像中的目標(biāo)信息的第一特征信息；

基于所述第一特征信息，通過第一自注意力網(wǎng)絡(luò)確定所述待匹配圖像的圖像特征信息。

8.根據(jù)權(quán)利要求1所述的方法，其中，確定待匹配文本的文本特征信息，包括：

通過特征提取網(wǎng)絡(luò)確定所述待匹配文本的第二特征信息；

基于所述第二特征信息，通過第二自注意力網(wǎng)絡(luò)確定所述待匹配文本的文本特征信息。