[發明專利]基于卷積神經網絡和連通圖的圖片歸類方法及相關設備

有效

• 申請號: 202010426648.0
• 申請日: 2020-05-19
• 公開（公告）號: CN111597373B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 鄧柯;王海灃
• 申請（專利權）人: 清華大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06V10/74;G06N3/0464;G06N3/096
• 代理公司: 深圳市鼎言知識產權代理有限公司 44311
• 代理人: 曾昭毅;陳實順

1.一種基于卷積神經網絡和連通圖的圖片歸類方法，其特征在于，所述方法包括：

獲取多個待歸類圖片；

將所述多個待歸類圖片進行預處理；

將每個預處理后的待歸類圖片輸入卷積神經網絡進行特征提取，得到每個待歸類圖片的特征向量；

計算每兩個待歸類圖片的特征向量之間的距離，包括：根據每兩個待歸類圖片的特征向量計算每兩個待歸類圖片的余弦距離；

根據每兩個待歸類圖片的特征向量之間的距離構建至少一個連通圖，所述至少一個連通圖的每個頂點對應一個待歸類圖片，若兩個待歸類圖片的特征向量之間的距離小于或等于預設閾值，則所述兩個待歸類圖片對應的頂點用邊相連；

對每個連通圖進行減邊處理，對于該連通圖中的每條邊，判斷該條邊的兩個頂點所連接的頂點數是否小于該連通圖的總頂點數，若該條邊的兩個頂點所連接的頂點數小于該連通圖的總頂點數，則刪除該條邊；

根據所有減邊處理后的連通圖，輸出所述多個待歸類圖片的歸類結果。

2.如權利要求1所述的基于卷積神經網絡和連通圖的圖片歸類方法，其特征在于，所述將所述多個待歸類圖片進行預處理包括：

將所述多個待歸類圖片轉換為預設圖片格式；和/或

將所述多個待歸類圖片轉換為預設尺寸；和/或

將所述多個待歸類圖片轉換為預設顏色。

3.如權利要求1所述的基于卷積神經網絡和連通圖的圖片歸類方法，其特征在于，所述卷積神經網絡包括AlexNet網絡、VGGNet網絡、GoogleNet網絡、ResNet網絡。

4.如權利要求1所述的基于卷積神經網絡和連通圖的圖片歸類方法，其特征在于，所述將每個預處理后的待歸類圖片輸入卷積神經網絡進行特征提取之前，所述方法還包括：

使用公共圖片庫對所述卷積神經網絡進行預訓練；

使用已標注相似圖片類別的圖片對預訓練后的卷積神經網絡進行相似圖片歸類任務微調。

5.如權利要求1所述的基于卷積神經網絡和連通圖的圖片歸類方法，其特征在于，所述對每個連通圖進行減邊處理之后，所述方法還包括：

對每個減邊處理后的連通圖進行增邊處理，若兩個頂點在一個連通圖中但是沒有相連的邊，則在所述兩個頂點之間增加一條邊。

6.如權利要求1至5中任一項所述的基于卷積神經網絡和連通圖的圖片歸類方法，其特征在于，所述將每個預處理后的待歸類圖片輸入卷積神經網絡進行特征提取之前，所述方法還包括：

判斷每個預處理后的待歸類圖片是否為遮擋圖片；

若所述預處理后的待歸類圖片為遮擋圖片，則對所述預處理后的待歸類圖片進行去遮擋處理。

7.如權利要求1至5中任一項所述的基于卷積神經網絡和連通圖的圖片歸類方法，其特征在于，所述方法還包括：

從每個減邊處理后的連通圖中確定一個代表圖片；

輸出所述代表圖片。

8.一種基于卷積神經網絡和連通圖的圖片歸類裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取多個待歸類圖片；

預處理模塊，用于將所述多個待歸類圖片進行預處理；

特征提取模塊，用于將每個預處理后的待歸類圖片輸入卷積神經網絡進行特征提取，得到每個待歸類圖片的特征向量；

計算模塊，用于計算每兩個待歸類圖片的特征向量之間的距離，包括：根據每兩個待歸類圖片的特征向量計算每兩個待歸類圖片的余弦距離；

構建模塊，用于根據每兩個待歸類圖片的特征向量之間的距離構建至少一個連通圖，所述至少一個連通圖的每個頂點對應一個待歸類圖片，若兩個待歸類圖片的特征向量之間的距離小于或等于預設閾值，則所述兩個待歸類圖片對應的頂點用邊相連；

減邊模塊，用于對每個連通圖進行減邊處理，對于該連通圖中的每條邊，判斷該條邊的兩個頂點所連接的頂點數是否小于該連通圖的總頂點數，若該條邊的兩個頂點所連接的頂點數小于該連通圖的總頂點數，則刪除該條邊；

輸出模塊，用于根據所有減邊處理后的連通圖，輸出所述多個待歸類圖片的歸類結果。