[發明專利]用于檢索圖像的神經網絡裝置及其操作方法

在審

• 申請號: 202110347114.3
• 申請日: 2021-03-31
• 公開（公告）號: CN113496277A
• 公開（公告）日: 2021-10-12
• 發明（設計）人: 張榮均;趙南翊
• 申請（專利權）人: 三星電子株式會社;首爾大學校產學協力團
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06F16/532;G06F16/55;G06F16/583
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 趙南;肖學蕊

本申請提供了一種神經網絡裝置和操作神經網絡的方法。所述神經網絡裝置包括：處理器，其執行用于訓練神經網絡的操作；特征提取模塊，其提取對應于未標記圖像的未標記特征向量和對應于標記圖像的標記特征向量；以及分類器，其對查詢圖像的類別進行分類，其中，所述處理器通過使用所述標記特征向量來執行關于多個碼本的第一學習，并且通過基于所述標記特征向量和所述未標記特征向量的全部對熵進行優化來執行關于所述多個碼本的第二學習。

相關申請的交叉引用

本申請要求于2020年4月3日在韓國知識產權局提交的韓國專利申請No.10-2020-0041076和于2021年2月4日在韓國知識產權局提交的韓國專利申請No.10-2021-0016274的優先權，這兩個申請的內容通過引用方式全部并入本文中。

技術領域

本發明構思的實施例涉及一種神經網絡裝置及其操作方法，更具體地，涉及一種用于檢索圖像的神經網絡裝置及其操作方法。

背景技術

對從散列(hash)函數獲得的二進制散列碼的使用在通過使用較小存儲空間和提供高檢索速率來檢索圖像方面展現出非凡的性能。隨著深度學習方法的發展，已經提出了基于卷積神經網絡的散列函數。

然而，當數據庫中的標記圖像不足以檢索圖像時，基于卷積神經網絡的散列函數可能無法容易地獲得期望的性能，因此，期望一種將未標記圖像與標記圖像一起使用的方法。

發明內容

本發明構思的實施例提供一種神經網絡及其操作方法，所述神經網絡能夠通過除了使用標記圖像之外還使用未標記圖像來穩健地提高圖像檢索性能。

根據本發明構思的實施例，提供了一種神經網絡裝置，該神經網絡裝置包括：處理器，其執行訓練神經網絡的操作；特征提取模塊，其提取對應于未標記圖像的未標記特征向量和對應于標記圖像的標記特征向量；以及分類器，其對查詢圖像的類別進行分類，其中，所述處理器通過使用標記特征向量來執行關于多個碼本的第一學習，并且通過基于標記特征向量和未標記特征向量的全部對熵進行優化來執行關于所述多個碼本的第二學習。

根據本發明構思的其他實施例，提供了一種操作神經網絡的方法，該方法包括步驟：提取對應于未標記圖像的未標記特征向量和對應于標記圖像的標記特征向量；通過使用標記特征向量來執行關于多個碼本的第一學習；以及通過基于標記特征向量和未標記特征向量的全部對熵進行優化，來執行關于所述多個碼本的第二學習。

根據本發明構思的其他實施例，提供了一種操作神經網絡裝置的方法，該方法包括步驟：接收包括至少一個標記圖像和至少一個未標記圖像的多個生物特征圖像；提取對應于所述多個生物特征圖像的特征向量；通過使用特征向量來執行關于多個碼本的學習；接收查詢圖像并根據所述多個生物特征圖像計算距離值；基于計算出的距離值來估計對所述多個生物特征圖像進行分類的類別的期望值；當期望值中的最大值超過預設閾值時，通過生物特征認證。

附圖說明

圖1是根據本發明構思的實施例的神經網絡裝置的框圖。

圖2示出了根據實施例的特征提取模塊的處理。

圖3A示出了根據本發明構思的實施例的神經網絡裝置。

圖3B示出根據本發明構思的實施例的在特征空間中執行乘積量化的結果的示例。

圖3C示出了根據本發明構思的實施例的子向量、碼本(codebook)和量化的子向量之間的關系。

圖3D示出了根據本發明構思的實施例的使用分類器的學習過程的示例。

圖4是根據本發明構思的實施例的神經網絡裝置的操作的流程圖；

圖5是根據本發明構思的實施例的神經網絡的學習過程的流程圖，在該圖中詳細示出了圖4中的操作S110。