[發明專利]用于檢索圖像的神經網絡裝置及其操作方法

在審

• 申請號: 202110347114.3
• 申請日: 2021-03-31
• 公開（公告）號: CN113496277A
• 公開（公告）日: 2021-10-12
• 發明（設計）人: 張榮均;趙南翊
• 申請（專利權）人: 三星電子株式會社;首爾大學校產學協力團
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06F16/532;G06F16/55;G06F16/583
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 趙南;肖學蕊

1.一種神經網絡裝置，包括：

處理器，其執行訓練神經網絡的操作；

特征提取模塊，其提取對應于未標記圖像的未標記特征向量和對應于標記圖像的標記特征向量；以及

分類器，其配置為對查詢圖像的類別進行分類，

其中，所述處理器通過使用所述標記特征向量來執行關于多個碼本的第一學習，并且通過基于所述標記特征向量和所述未標記特征向量的全部對熵進行優化來執行關于所述多個碼本的第二學習。

2.根據權利要求1所述的神經網絡裝置，其中，在所述第一學習中，所述處理器計算所述標記特征向量的代表值，將計算出的向量確定為原型向量，并且學習對應于所述標記特征向量的所述多個碼本以使得所述標記特征向量鄰近所述原型向量。

3.根據權利要求2所述的神經網絡裝置，其中，所述代表值對應于所述標記特征向量的平均值、中值和眾數中的一者。

4.根據權利要求2所述的神經網絡裝置，其中，在所述第二學習中，所述處理器通過將原型向量的值調整為鄰近所述未標記特征向量來使原型向量的熵最大化。

5.根據權利要求4所述的神經網絡裝置，其中，在所述第二學習中，所述處理器學習對應于所述未標記特征向量的所述多個碼本，以使得所述未標記特征向量鄰近調整后的原型向量。

6.根據權利要求5所述的神經網絡裝置，其中，所述處理器生成包括針對所述多個碼本中的每一個的二進制散列碼的散列表，其中所述二進制散列碼代表與特征向量相似的碼字。

7.根據權利要求6所述的神經網絡裝置，其中，所述處理器接收查詢圖像，提取所接收的查詢圖像的特征向量，并且將所提取的特征向量與所述多個碼本之間的差值存儲在查找表中。

8.根據權利要求7所述的神經網絡裝置，其中，所述處理器基于所述查找表和所述散列表計算所述查詢圖像、所述未標記圖像和所述標記圖像之間的距離值。

9.根據權利要求8所述的神經網絡裝置，其中所述處理器識別與計算出的距離值中的最小值相對應的圖像，并且將所識別的圖像的類別分類為所述查詢圖像的類別。

10.一種操作神經網絡的方法，所述方法包括步驟：

提取對應于未標記圖像的未標記特征向量和對應于標記圖像的標記特征向量；

通過使用所述標記特征向量來執行關于多個碼本的第一學習；以及

通過基于所述標記特征向量和所述未標記特征向量的全部對熵進行優化來執行關于所述多個碼本的第二學習。

11.根據權利要求10所述的方法，其中，執行所述第一學習的步驟包括：

計算所述標記特征向量的代表值；

將計算出的代表值確定為原型向量的值；以及

學習對應于所述標記特征向量的多個碼本，以使得所述標記特征向量鄰近所述原型向量。

12.根據權利要求11所述的方法，其中，執行所述第二學習的步驟還包括：通過調整所述原型向量的值使得所述原型向量鄰近所述未標記特征向量，來優化所述原型向量的熵。

13.根據權利要求12所述的方法，其中，執行所述第二學習的步驟還包括：學習與所述未標記特征向量相對應的多個碼本，以使得所述未標記特征向量對應于調整后的原型向量。

14.根據權利要求13所述的方法，還包括步驟：生成包括針對所述多個碼本中的每一個的二進制散列碼的散列表，其中所述二進制散列碼代表與特征向量相似的碼字。

15.根據權利要求14所述的方法，還包括步驟：

接收查詢圖像；

提取所接收的查詢圖像的特征向量；以及

在查找表中存儲所提取的特征向量與所述多個碼本之間的差值。