[發(fā)明專利]一種基于文本描述的行人圖像檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011262275.4
• 申請(qǐng)日: 2020-11-12
• 公開（公告）號(hào): CN112364197B
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 邵杰;張鵬;歐陽德強(qiáng);蔣春林
• 申請(qǐng)（專利權(quán)）人: 四川省人工智能研究院(宜賓)
• 主分類號(hào): G06F16/583
• 分類號(hào): G06F16/583;G06F16/55;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都正華專利代理事務(wù)所(普通合伙) 51229
• 代理人: 李蕊

1.一種基于文本描述的行人圖像檢索方法，其特征在于，包括以下步驟：

S1、構(gòu)建行人圖像檢索模型，對(duì)行人圖像檢索模型進(jìn)行訓(xùn)練，得到訓(xùn)練完成的行人圖像檢索模型；

S2、采用訓(xùn)練完成的行人圖像檢索模型計(jì)算圖像特征和文本特征之間的余弦相似度值，根據(jù)余弦相似度值，得到基于文本描述檢索到的行人圖像；

步驟S1中行人圖像檢索模型包括：圖像特征提取器、文本特征提取器和聯(lián)合嵌入學(xué)習(xí)器；

所述圖像特征提取器為去除最后全連接層的MobileNet模型；

所述文本特征提取器包括：詞嵌入層和雙向長短期記憶網(wǎng)絡(luò)；

所述聯(lián)合嵌入學(xué)習(xí)器包括：共享參數(shù)全連接層；

步驟S1包括以下分步驟：

S11、采用文本特征提取器對(duì)輸入文本進(jìn)行特征提取，得到初始文本特征；

S12、采用圖像特征提取器對(duì)輸入的行人圖像進(jìn)行特征提取，得到初始圖像特征；

S13、將初始文本特征和初始圖像特征輸入聯(lián)合嵌入學(xué)習(xí)器，構(gòu)建損失函數(shù)模型，并基于損失函數(shù)模型對(duì)聯(lián)合嵌入學(xué)習(xí)器進(jìn)行訓(xùn)練，得到訓(xùn)練完成的行人圖像檢索模型；

步驟S13中聯(lián)合嵌入學(xué)習(xí)器的共享參數(shù)全連接層的損失函數(shù)模型為：

L＝L_mam+L_psw+L_cmpm

其中，L為總體損失函數(shù)，L_mam為乘性角度余量損失函數(shù)，L_psw為成對(duì)相似度加權(quán)損失函數(shù)，L_cmpm為跨模態(tài)投影匹配損失函數(shù)；

乘性角度余量損失函數(shù)為：

L_mam＝L_tpi+L_ipt

其中，L_ipt為圖像分類損失函數(shù)，L_tpi為文本分類損失函數(shù)，N為N個(gè)圖像文本特征對(duì)，i為第i個(gè)圖像文本特征對(duì)，x_i為經(jīng)聯(lián)合嵌入學(xué)習(xí)器得到的圖像特征，z_i為經(jīng)聯(lián)合嵌入學(xué)習(xí)器得到的文本特征，為歸一化的圖像特征，為歸一化的文本特征，為圖像特征x_i到上的投影圖像特征，為文本特征z_i到上的投影文本特征，j為共享參數(shù)全連接層中的類別，y_i為真實(shí)類別標(biāo)簽，為全連接層中類別y_i的歸一化類權(quán)重向量與投影圖像特征的夾角，θ_j,i為全連接層中類別j的歸一化權(quán)類權(quán)重向量與投影圖像特征的夾角，m為角度間隔系數(shù)；

成對(duì)相似度加權(quán)損失函數(shù)為：

其中，L_psw為成對(duì)相似度加權(quán)損失函數(shù)，N為N個(gè)圖像文本特征對(duì)，i為第i個(gè)圖像文本特征對(duì)，為第一組超參數(shù)，為第二組超參數(shù)，為第個(gè)圖像文本特征對(duì)，S_ii為圖像特征x_i與其匹配的文本特征z_i的相似度，為文本特征與其匹配的圖像特征的相似度，為S_ii的p次方，為的p 次方，p和q為次方數(shù)，為圖像特征x_i與x_i的負(fù)樣本的相似度分?jǐn)?shù)集合，為文本特征與的負(fù)樣本的相似度分?jǐn)?shù)集合，為集合中最大值的q次方，為集合中最大值的q次方；

跨模態(tài)投影匹配損失函數(shù)為：

其中，L_cmpm為跨模態(tài)投影匹配損失函數(shù)，N為N個(gè)圖像文本特征對(duì)，i為第i個(gè)圖像文本特征對(duì)，為第個(gè)圖像文本特征對(duì)，x_i為經(jīng)聯(lián)合嵌入學(xué)習(xí)器得到的圖像特征，為第k個(gè)歸一化的文本特征，為第個(gè)歸一化的文本特征，為第個(gè)文本特征，為第i個(gè)圖像特征與第個(gè)文本特征是否匹配，匹配取1，不匹配取0，y_i,k為第i個(gè)圖像特征與第k個(gè)文本特征是否匹配，匹配取1，不匹配取0，∈為避免出現(xiàn)分母為0而設(shè)置的參數(shù)。