[發(fā)明專利]圖像文本之間的匹配度的確定方法及裝置

有效

• 申請?zhí)枺?/td>: 202110724610.6
• 申請日: 2021-06-29
• 公開（公告）號: CN113343664B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 白亞龍;張煒;梅濤
• 申請（專利權(quán)）人: 京東科技信息技術(shù)有限公司
• 主分類號: G06F40/194
• 分類號: G06F40/194;G06F40/30;G06F18/22;G06F18/214;G06N3/0464;G06N3/08
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本申請公開了一種圖像文本之間的匹配度的確定方法及裝置。方法的一具體實(shí)施方式包括：確定待匹配圖像的圖像特征信息和待匹配文本的文本特征信息；確定圖像常識特征信息和文本常識特征信息，其中，圖像常識特征信息表征與待匹配圖像中的目標(biāo)信息相關(guān)的常識信息，文本常識特征信息表征與待匹配文本中的目標(biāo)信息相關(guān)的常識信息；根據(jù)圖像特征信息、文本特征信息、圖像常識特征信息和文本常識特征信息，確定待匹配圖像和待匹配文本之間的匹配度。本申請?zhí)峁┝艘环N結(jié)合圖像文本自身特征信息和所涉及的常識信息，來確定圖像文本之間的匹配度的方法，提高了泛化能力。

技術(shù)領(lǐng)域

本申請實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種圖像文本之間的匹配度的確定方法及裝置。

背景技術(shù)

多模態(tài)內(nèi)容理解是多媒體和計(jì)算機(jī)視覺領(lǐng)域的一個重要課題。其中，圖像和文本之間的跨模態(tài)檢索，即圖像-文本匹配，是一個具有重要應(yīng)用價值且很有挑戰(zhàn)性的研究目標(biāo)。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展以及多媒體數(shù)據(jù)體量的不斷增加，圖像-文本匹配技術(shù)取得了很大的進(jìn)展。目前，圖像-文本匹配的主流方法的思路可以歸結(jié)為：使用深度神經(jīng)網(wǎng)絡(luò)將圖像和文本兩個模態(tài)的數(shù)據(jù)映射到公共隱空間中，進(jìn)行相似性度量。

發(fā)明內(nèi)容

本申請實(shí)施例提出了一種圖像文本之間的匹配度的確定方法及裝置。

第一方面，本申請實(shí)施例提供了一種圖像文本之間的匹配度的確定方法，包括：確定待匹配圖像的圖像特征信息和待匹配文本的文本特征信息；確定圖像常識特征信息和文本常識特征信息，其中，圖像常識特征信息表征與待匹配圖像中的目標(biāo)信息相關(guān)的常識信息，文本常識特征信息表征與待匹配文本中的目標(biāo)信息相關(guān)的常識信息；根據(jù)圖像特征信息、文本特征信息、圖像常識特征信息和文本常識特征信息，確定待匹配圖像和待匹配文本之間的匹配度。

在一些實(shí)施例中，上述在確定圖像常識特征信息和文本常識特征信息之前，還包括：通過表征邏輯型常識信息的圖卷積網(wǎng)絡(luò)，生成邏輯型常識特征信息；在邏輯型常識特征信息的基礎(chǔ)上，通過表征統(tǒng)計(jì)型常識信息的超圖卷積網(wǎng)絡(luò)，生成包括邏輯型常識信息和統(tǒng)計(jì)型常識信息的常識特征信息；以及上述確定圖像常識特征信息和文本常識特征信息，包括：根據(jù)常識特征信息，確定圖像常識特征信息和文本常識特征信息。

在一些實(shí)施例中，上述根據(jù)圖像特征信息、文本特征信息、圖像常識特征信息和文本常識特征信息，確定待匹配圖像和待匹配文本之間的匹配度，包括：結(jié)合常識特征信息和圖像常識特征信息，得到結(jié)合后圖像常識特征信息；結(jié)合常識特征信息和文本常識特征信息，得到結(jié)合后文本常識特征信息；根據(jù)圖像特征信息、文本特征信息、結(jié)合后圖像常識特征信息和結(jié)合后文本常識特征信息，確定待匹配圖像和待匹配文本之間的匹配度。

在一些實(shí)施例中，上述根據(jù)圖像特征信息、文本特征信息、結(jié)合后圖像常識特征信息和結(jié)合后文本常識特征信息，確定待匹配圖像和待匹配文本之間的匹配度，包括：確定圖像特征信息和文本特征信息之間的第一匹配度，以及結(jié)合后圖像常識特征信息和結(jié)合后文本常識特征信息之間的第二匹配度；根據(jù)第一匹配度和第二匹配度，確定待匹配圖像和待匹配文本之間的匹配度。

在一些實(shí)施例中，上述根據(jù)常識特征信息，確定圖像常識特征信息和文本常識特征信息，包括：根據(jù)圖像特征信息，確定待匹配圖像中的目標(biāo)信息；根據(jù)文本特征信息，確定待匹配文本中的目標(biāo)信息；從常識特征信息中確定出對應(yīng)于待匹配圖像中的目標(biāo)信息的圖像常識特征信息，以及對應(yīng)于待匹配文本中的目標(biāo)信息的文本常識特征信息。

在一些實(shí)施例中，上述通過表征邏輯型常識信息的圖卷積網(wǎng)絡(luò)，生成邏輯型常識特征信息，包括：確定與待匹配圖像中的目標(biāo)信息和待匹配文本中的目標(biāo)信息對應(yīng)的數(shù)據(jù)集；將數(shù)據(jù)集中的各概念的初始化向量信息輸入圖卷積網(wǎng)絡(luò)，生成邏輯型常識特征信息。

在一些實(shí)施例中，在超圖卷積網(wǎng)絡(luò)所表征的超圖中，通過超邊表征超邊連接的多個概念之間的語義相關(guān)性。