[發(fā)明專利]一種圖像文本檢索方法、裝置及計(jì)算機(jī)存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202210635337.4
• 申請(qǐng)日: 2022-06-07
• 公開（公告）號(hào): CN114707007B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 王丹;張韞竹;張翔;王海光;曹敏;曹自強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 蘇州大學(xué)
• 主分類號(hào): G06F16/41
• 分類號(hào): G06F16/41;G06F16/45;G06F16/432;G06F16/483;G06F16/48;G06F16/51;G06F16/55;G06F16/583;G06F16/58;G06F16/31;G06F16/33;G06F16/35
• 代理公司: 蘇州市中南偉業(yè)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32257
• 代理人: 張榮

1.一種圖像文本檢索方法，其特征在于，包括：

將圖像樣本庫內(nèi)圖像樣本輸入至完成訓(xùn)練的多標(biāo)簽圖像分類器中，輸出圖像樣本關(guān)鍵詞；

基于每幅圖像樣本及其對(duì)應(yīng)的圖像樣本關(guān)鍵詞之間的映射關(guān)系，構(gòu)建第一正排表；

基于所述第一正排表，獲取與各個(gè)圖像樣本關(guān)鍵詞對(duì)應(yīng)的圖像樣本，構(gòu)建第一倒排表；

將檢索文本輸入至完成訓(xùn)練的多標(biāo)簽文本分類器中，輸出檢索文本關(guān)鍵詞；

基于所述第一倒排表，在所述圖像樣本庫中檢索與所述檢索文本關(guān)鍵詞對(duì)應(yīng)的圖像樣本，得到預(yù)篩選圖像樣本集；

將所述預(yù)篩選圖像樣本集與所述檢索文本輸入至完成訓(xùn)練的圖像文本檢索模型，輸出檢索結(jié)果。

2.如權(quán)利要求1所述圖像文本檢索方法，其特征在于，還包括：

將文本樣本庫內(nèi)文本樣本輸入至完成訓(xùn)練的多標(biāo)簽文本分類器中，輸出文本樣本關(guān)鍵詞；

基于各個(gè)文本樣本及其對(duì)應(yīng)的文本樣本關(guān)鍵詞之間的映射關(guān)系，構(gòu)建第二正排表；

基于所述第二正排表，獲取與各個(gè)文本樣本關(guān)鍵詞對(duì)應(yīng)的文本樣本，構(gòu)建第二倒排表；

將檢索圖像輸入至完成訓(xùn)練的多標(biāo)簽圖像分類器中，輸出檢索圖像關(guān)鍵詞；

基于所述第二倒排表，在所述文本樣本庫中檢索與所述檢索圖像關(guān)鍵詞對(duì)應(yīng)的文本樣本，得到預(yù)篩選文本樣本集；

將所述預(yù)篩選文本樣本集與檢索圖像輸入至訓(xùn)練完成的圖像文本檢索模型，輸出檢索結(jié)果。

3.如權(quán)利要求1所述圖像文本檢索方法，其特征在于，所述基于每幅圖像樣本及其對(duì)應(yīng)的圖像樣本關(guān)鍵詞之間的映射關(guān)系，構(gòu)建第一正排表包括：

將各個(gè)圖像樣本的ID指定為鍵，各個(gè)圖像樣本對(duì)應(yīng)的關(guān)鍵詞指定為值，基于鍵到值的映射，構(gòu)建所述第一正排表。

4.如權(quán)利要求3所述圖像文本檢索方法，其特征在于，所述構(gòu)建第一倒排表包括：

根據(jù)所述第一正排表中圖像樣本ID與各個(gè)圖像樣本關(guān)鍵詞的映射關(guān)系，檢索各個(gè)圖像樣本關(guān)鍵詞對(duì)應(yīng)的圖像樣本ID，并將各個(gè)圖像樣本關(guān)鍵詞指定為鍵，與各個(gè)圖像樣本關(guān)鍵詞對(duì)應(yīng)的圖像樣本ID指定為值，構(gòu)建所述第一倒排表。

5.如權(quán)利要求1所述圖像文本檢索方法，其特征在于，所述多標(biāo)簽圖像分類器、所述多標(biāo)簽文本分類器及所述圖像文本檢索模型的訓(xùn)練過程包括：

獲取訓(xùn)練數(shù)據(jù)集；

將所述訓(xùn)練數(shù)據(jù)集中圖像數(shù)據(jù)集輸入圖像編碼器中，提取圖像特征值；

將所述圖像特征值發(fā)送至所述多標(biāo)簽圖像分類器，利用非對(duì)稱損失函數(shù)作為多標(biāo)簽圖像分類損失進(jìn)行約束，完成所述多標(biāo)簽圖像分類器的訓(xùn)練；

將所述訓(xùn)練數(shù)據(jù)集中文本數(shù)據(jù)集輸入文本編碼器中，提取文本特征值；

將所述文本特征值發(fā)送至所述多標(biāo)簽文本分類器中，利用非對(duì)稱損失函數(shù)作為多標(biāo)簽文本分類損失進(jìn)行約束，完成所述多標(biāo)簽文本分類器的訓(xùn)練；

將所述圖像特征值與所述文本特征值發(fā)送至多模態(tài)編碼器中，利用損失函數(shù)進(jìn)行約束，完成所述圖像文本檢索模型的訓(xùn)練。

6.如權(quán)利要求5所述圖像文本檢索方法，其特征在于，所述多標(biāo)簽圖像分類器與所述多標(biāo)簽文本分類器采用的非對(duì)稱損失函數(shù)其計(jì)算公式為：

其中，為非對(duì)稱損失函數(shù)，為標(biāo)簽個(gè)數(shù)，為正樣本損失函數(shù)，為負(fù)樣本損失函數(shù)，表示第個(gè)標(biāo)簽是正確的標(biāo)簽，表示第個(gè)標(biāo)簽是錯(cuò)誤的標(biāo)簽；

其中，為正聚焦參數(shù)，為負(fù)聚焦參數(shù)，為第個(gè)標(biāo)簽的輸出概率，為偏移標(biāo)簽概率，當(dāng)時(shí)，負(fù)樣本將被丟棄。

7.如權(quán)利要求1所述的圖像文本檢索方法，其特征在于，所述將所述預(yù)篩選圖像樣本集與所述檢索文本輸入至完成訓(xùn)練的圖像文本檢索模型，輸出檢索結(jié)果包括：

將所述預(yù)篩選圖像樣本集與所述檢索文本分別輸入至圖像編碼器和文本編碼器中提取圖像特征以及文本特征；

將所述圖像特征和所述文本特征輸入至多模態(tài)編碼器中，通過所述多模態(tài)編碼器將圖像特征與文本特征融合，輸出檢索結(jié)果。