[發(fā)明專利]圖片檢索模型建立方法和裝置、圖片檢索方法和裝置

有效

• 申請?zhí)枺?/td>: 201710198703.3
• 申請日: 2017-03-29
• 公開（公告）號: CN107402947B
• 公開（公告）日: 2020-12-08
• 發(fā)明（設(shè)計(jì)）人: 朱珊珊;方志宏;孫萌;鄧澍軍;郭常圳
• 申請（專利權(quán)）人: 北京猿力教育科技有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06N3/04;G06N3/08
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

本申請實(shí)施例公開了圖片檢索模型建立方法和裝置、圖片檢索方法和裝置，所述圖片檢索模型建立方法包括：構(gòu)建初始的第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)，所述第一神經(jīng)網(wǎng)絡(luò)與第二神經(jīng)網(wǎng)絡(luò)相同；所述第一和第二神經(jīng)網(wǎng)絡(luò)分別接收第一圖片和第二圖片，通過所述第一和第二神經(jīng)網(wǎng)絡(luò)前向傳播；計(jì)算得到第一和第二特征；計(jì)算當(dāng)前神經(jīng)網(wǎng)絡(luò)的損失，當(dāng)損失非零時(shí)，將所述損失逐層反向傳播到第一和第二神經(jīng)網(wǎng)絡(luò)中，并同步更新所述第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)中每層網(wǎng)絡(luò)的權(quán)值。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種圖片檢索方法和裝置。

背景技術(shù)

除了文本檢索之外，根據(jù)圖片搜索圖片的圖片檢索也是一個(gè)切實(shí)的需求。

在相關(guān)的現(xiàn)有技術(shù)中，其中一種圖片檢索方式是“感知哈希算法”。在該方法中，先將圖片(檢索圖片和候選圖片)縮小到一個(gè)小尺寸(如32×32大小)，再對圖片進(jìn)行二維的余弦變換，得到圖片的頻率分布的值，其中，低頻的信息集中在左上角，高頻的信息靠近右下角，再從余弦變換后的圖片中截取左上角的一定區(qū)域(如，該區(qū)域大小為8×8)，該區(qū)域涵蓋了原圖的基本色調(diào)，再對該區(qū)域進(jìn)行二值化處理，得到二值化結(jié)果，再將二值化結(jié)果編碼為哈希碼。在檢索時(shí)，直接計(jì)算檢索圖片的哈希碼和候選圖片的哈希碼的漢明距離，根據(jù)漢明距離評估檢索圖片和候選圖片的相似度，并確定候選圖片是否為檢索結(jié)果。但是，這種圖片檢索方式對于自然場景中的圖片比較適用，而對文本插圖并不適用，當(dāng)對文本插圖進(jìn)行檢索時(shí)，其檢索的準(zhǔn)確度并不高。

另一種圖片檢索方式是將檢索圖片和候選圖片都縮放到同等大小，并進(jìn)行對齊，最后比較兩個(gè)圖片中各像素點(diǎn)的值是否一致，根據(jù)是否一致確定候選圖片是否為檢索結(jié)果。但是，這種方式也有其自身的缺陷：第一，由于拍攝導(dǎo)致的圖片變形等問題，在對齊環(huán)節(jié)很容易使得對應(yīng)像素錯(cuò)位，故不能得到準(zhǔn)確的答案；第二，在大規(guī)模的圖片檢索中，如果將檢索圖片與每張候選圖片單獨(dú)進(jìn)行對比、判別操作，操作的耗時(shí)極長、無法滿足線上的快速檢索的要求。

由此可見，現(xiàn)有的圖片檢索方式無法既滿足檢索準(zhǔn)確度的要求又滿足檢索速度的要求。

發(fā)明內(nèi)容

針對圖像處理技術(shù)領(lǐng)域，本申請所要解決的技術(shù)問題是，針對現(xiàn)有技術(shù)的不足，提出一種圖片檢索方法和裝置，以盡可能提高檢索準(zhǔn)確度的同時(shí)，提高檢索速度。

本申請一方面，提供一種圖片檢索模型建立方法，包括：

構(gòu)建初始的第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)，所述第一神經(jīng)網(wǎng)絡(luò)與第二神經(jīng)網(wǎng)絡(luò)相同；

所述第一神經(jīng)網(wǎng)絡(luò)接收第一圖片，所述第二神經(jīng)網(wǎng)絡(luò)接收第二圖片；

所述第一圖片和第二圖片分別通過所述第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)前向傳播；

所述第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)分別計(jì)算得到與第一圖片對應(yīng)的第一特征和與第二圖片對應(yīng)的第二特征；

結(jié)合所述第一特征、第二特征和標(biāo)簽，計(jì)算當(dāng)前神經(jīng)網(wǎng)絡(luò)的損失，所述標(biāo)簽用于標(biāo)明所述第一圖片與第二圖片是否相似；

當(dāng)損失為零時(shí)，所述第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)繼續(xù)接收下一組訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括新的第一圖片、第二圖片和對應(yīng)標(biāo)識；

當(dāng)損失非零時(shí)，將所述損失逐層反向傳播到所述第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)中，并同步更新所述第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)中每層網(wǎng)絡(luò)的權(quán)值，當(dāng)誤差被反向傳播至所述第一神經(jīng)網(wǎng)絡(luò)和所述第二神經(jīng)網(wǎng)絡(luò)的輸入層時(shí)，所述第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)接收下一組訓(xùn)練數(shù)據(jù)繼續(xù)訓(xùn)練，直至訓(xùn)練數(shù)據(jù)均訓(xùn)練完成。

可選地，在所述第一圖片和第二圖片分別經(jīng)所述第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)前向傳播之前，還包括：

將所述第一圖片和第二圖片調(diào)整至第一尺寸，所述第一尺寸由所述第一神經(jīng)網(wǎng)絡(luò)確定。