[發(fā)明專(zhuān)利]一種圖文匹配的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010863244.8
• 申請(qǐng)日: 2020-08-25
• 公開(kāi)（公告）號(hào): CN112749291A
• 公開(kāi)（公告）日: 2021-05-04
• 發(fā)明（設(shè)計(jì)）人: 楊皓
• 申請(qǐng)（專(zhuān)利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F16/432
• 分類(lèi)號(hào): G06F16/432;G06F16/483;G06K9/46;G06K9/62
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 李娟

本申請(qǐng)屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，主要涉及人工智能中的圖像語(yǔ)義理解技術(shù)，公開(kāi)了一種圖文匹配的方法和裝置，本申請(qǐng)公開(kāi)的一種圖文匹配的方法包括，獲取待配圖文本的標(biāo)簽信息，基于待配圖文本和標(biāo)簽信息，獲得目標(biāo)文本特征向量，并獲取各圖像對(duì)應(yīng)的圖像特征向量，以及根據(jù)各圖像特征向量與目標(biāo)文本特征向量之間的相關(guān)度，為待配圖文本篩選出匹配圖像，這樣，基于標(biāo)簽信息，將文本信息集中化，提高了圖文匹配的正確率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種圖文匹配的方法和裝置。

背景技術(shù)

隨著信息技術(shù)的快速發(fā)展以及網(wǎng)絡(luò)的全球化，用戶(hù)對(duì)多媒體的需求越來(lái)越高。例如，用戶(hù)在新聞平臺(tái)閱讀新聞，更希望閱讀圖文并茂的新聞，而不僅僅是純文本的新聞；或者用戶(hù)在互動(dòng)問(wèn)答平臺(tái)搜索問(wèn)題時(shí)，更愿意選擇具有配圖的問(wèn)答查看。因此，為了提高閱讀量，更好地為用戶(hù)服務(wù)，這些應(yīng)用平臺(tái)在發(fā)布文本信息時(shí)，通常會(huì)為其配置圖片，這使得圖文匹配成為技術(shù)人員重要研究方向之一。

在圖文匹配任務(wù)中，圖片與文本的相關(guān)度通常是核心工作，現(xiàn)有技術(shù)中，通常將圖片和文本轉(zhuǎn)化至同一維度空間，以確定圖片和文本之間的相關(guān)度，并根據(jù)兩者的相關(guān)度，確定文本的匹配圖片。

但是，由于圖片和文本為不同模態(tài)的數(shù)據(jù)，因此，確定出的匹配圖片通常與文本之間的相關(guān)性較差，圖文匹配的正確率較低，不利于配圖文本的推廣。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種圖文匹配的方法和裝置，用以在進(jìn)行圖文匹配時(shí)，提高圖文匹配的正確率。

一方面，提供一種圖文匹配的方法，包括：

獲取待配圖文本的標(biāo)簽信息；

對(duì)待配圖文本和標(biāo)簽信息進(jìn)行特征提取，獲得目標(biāo)文本特征向量；

分別獲得候選圖像集合中的各圖像對(duì)應(yīng)的圖像特征向量；

分別獲得每一圖像對(duì)應(yīng)的圖像特征向量和目標(biāo)文本特征向量之間的相關(guān)度；

根據(jù)各圖像對(duì)應(yīng)的相關(guān)度，從各圖像中為待配圖文本篩選出至少一個(gè)匹配圖像。

一方面，提供一種圖文匹配的裝置，包括：

獲取單元，用于獲取待配圖文本的標(biāo)簽信息；

提取單元，用于對(duì)待配圖文本和標(biāo)簽信息進(jìn)行特征提取，獲得目標(biāo)文本特征向量；

獲得單元，用于分別獲得候選圖像集合中的各圖像對(duì)應(yīng)的圖像特征向量；

匹配單元，用于分別獲得每一圖像對(duì)應(yīng)的圖像特征向量和目標(biāo)文本特征向量之間的相關(guān)度；

篩選單元，用于根據(jù)各圖像對(duì)應(yīng)的相關(guān)度，從各圖像中為待配圖文本篩選出至少一個(gè)匹配圖像。

較佳的，獲得單元用于：

基于圖像特征網(wǎng)絡(luò)，分別獲得候選圖像集合中的各圖像對(duì)應(yīng)的圖像特征向量，圖像特征網(wǎng)絡(luò)包括圖像特征提取模塊和圖像全連接模塊，其中：

采用圖像特征提取模塊，分別提取每一圖像集合中包含的每一圖像對(duì)應(yīng)的初始圖像特征向量，圖像特征提取模塊是基于深度學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建的；

采用圖像全連接模塊，分別對(duì)每一圖像對(duì)應(yīng)的初始圖像特征向量進(jìn)行全連接處理，獲得圖像特征向量。

較佳的，提取單元用于：

基于第一文本特征網(wǎng)絡(luò)，對(duì)待配圖文本和標(biāo)簽信息進(jìn)行特征提取，獲得目標(biāo)文本特征向量，第一文本特征網(wǎng)絡(luò)包括第一文本特征提取模塊、第一拼接模塊和第一全連接模塊，其中：