[發(fā)明專利]圖像檢索方法和裝置

在審

• 申請?zhí)枺?/td>: 202110700184.2
• 申請日: 2021-06-23
• 公開（公告）號: CN113377986A
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計(jì)）人: 于吉鵬;韓森堯;喻廬軍;李馳
• 申請（專利權(quán)）人: 泰康保險(xiǎn)集團(tuán)股份有限公司
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06N3/04
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張效榮;王志遠(yuǎn)

1.一種圖像檢索方法，其特征在于，包括：

將待檢索圖像輸入預(yù)先訓(xùn)練的編碼器網(wǎng)絡(luò)，得到待檢索圖像的特征圖特征；

將待檢索圖像的特征圖特征輸入預(yù)先訓(xùn)練、并且包含隱含節(jié)點(diǎn)的解碼器網(wǎng)絡(luò)，得到待檢索圖像的描述文本；其中，在任一時(shí)間步，所述解碼器網(wǎng)絡(luò)依據(jù)上一時(shí)間步輸出的隱狀態(tài)向量和由所述特征圖特征轉(zhuǎn)換而成的第一向量獲得所述特征圖特征的每一像素在所述任一時(shí)間步的空間注意力權(quán)重，依據(jù)上一時(shí)間步輸出的隱狀態(tài)向量獲得所述特征圖特征的每一通道在所述任一時(shí)間步的通道注意力權(quán)重，基于所述空間注意力權(quán)重和所述通道注意力權(quán)重生成第二向量輸入所述隱含節(jié)點(diǎn)，得到所述任一時(shí)間步的描述詞，多個(gè)時(shí)間步的描述詞形成待檢索圖像的描述文本；

獲取待檢索圖像的描述文本的特征向量；其中，所述特征向量用于通過與查詢文本的特征向量進(jìn)行比對以實(shí)現(xiàn)圖像檢索。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，第一向量是由所述特征圖特征經(jīng)線性變換而得到；以及，所述依據(jù)上一時(shí)間步輸出的隱狀態(tài)向量和由所述特征圖特征轉(zhuǎn)換而成的第一向量獲得所述特征圖特征的每一像素在所述任一時(shí)間步的空間注意力權(quán)重，包括：

獲取所述隱狀態(tài)向量線性變換結(jié)果與第一向量線性變換結(jié)果之和，將該和送入預(yù)設(shè)的第一激活函數(shù)進(jìn)行運(yùn)算并對運(yùn)算結(jié)果線性變換，將該線性變換的結(jié)果送入預(yù)設(shè)的歸一化函數(shù)，得到所述空間注意力權(quán)重。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述依據(jù)上一時(shí)間步輸出的隱狀態(tài)向量獲得所述特征圖特征的每一通道在所述任一時(shí)間步的通道注意力權(quán)重，包括：

將所述隱狀態(tài)向量經(jīng)線性變換之后送入預(yù)設(shè)的第二激活函數(shù)，得到所述通道注意力權(quán)重。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述空間注意力權(quán)重和所述通道注意力權(quán)重生成第二向量，包括：

將所述空間注意力權(quán)重賦予所述特征圖特征的各像素，得到具有所述空間注意力權(quán)重信息的第一特征圖；

將所述第一特征圖經(jīng)線性變換之后與所述通道注意力權(quán)重點(diǎn)乘，得到具有所述空間注意力權(quán)重信息和所述通道注意力權(quán)重信息的第二特征圖；

將第二特征圖與上一時(shí)間步輸出的描述詞的特征向量拼接，得到第二向量。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述得到所述任一時(shí)間步的描述詞，包括：

將第二向量輸入所述隱含節(jié)點(diǎn)，得到所述任一時(shí)間步的隱狀態(tài)向量；

將該隱狀態(tài)向量線性變換之后送入所述歸一化函數(shù)，得到預(yù)設(shè)的詞典中每一詞的概率值，將最大概率值對應(yīng)的詞確定為所述任一時(shí)間步的描述詞。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述獲取待檢索圖像的描述文本的特征向量，包括：將所述描述文本中各描述詞的特征向量組合為特征矩陣，將該特征矩陣線性變換，得到預(yù)設(shè)維度的、所述描述文本的特征向量；

所述查詢文本的特征向量通過以下步驟得到：將查詢文本中各詞的特征向量組合為特征矩陣，將該特征矩陣輸入預(yù)先訓(xùn)練的編碼網(wǎng)絡(luò)進(jìn)行計(jì)算，并依次經(jīng)過第二激活函數(shù)和線性變換，得到所述預(yù)設(shè)維度的、所述查詢文本的特征向量；

待檢索圖像的描述文本的特征向量與查詢文本的特征向量通過以下步驟進(jìn)行比對以實(shí)現(xiàn)圖像檢索：計(jì)算查詢文本的特征向量與每一待檢索圖像描述文本的特征向量之間的內(nèi)積，將最大內(nèi)積對應(yīng)的待檢索圖像確定為查詢文本對應(yīng)的圖像檢索結(jié)果。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述編碼器網(wǎng)絡(luò)為卷積神經(jīng)網(wǎng)絡(luò)CNN，所述解碼器網(wǎng)絡(luò)和所述編碼網(wǎng)絡(luò)為長短期記憶網(wǎng)絡(luò)LSTM；

所述解碼器網(wǎng)絡(luò)的隱狀態(tài)向量初始數(shù)據(jù)為由所述特征圖特征線性變換而成的第三向量；

第一激活函數(shù)為ReLU函數(shù)，第二激活函數(shù)為Sigmoid函數(shù)，所述歸一化函數(shù)為Softmax函數(shù)。