[發明專利]一種多標簽社交網絡圖像的標注方法及系統

在審

• 申請號: 202011045407.8
• 申請日: 2020-09-29
• 公開（公告）號: CN112182274A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 李澤超;練連榮
• 申請（專利權）人: 南京理工大學;南京浩翔基礎軟件研究院有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/58;G06K9/62;G06N3/04
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 崔玥

1.一種多標簽社交網絡圖像的標注方法，其特征在于，所述方法包括：

獲取圖像數據集；所述圖像數據集包括多個圖像以及各所述圖像對應的標簽；

根據所述圖像數據集得到第一標簽矩陣；

利用柯西分布對所述第一標簽矩陣進行去噪處理，得到第二標簽矩陣；

將所述圖像數據集輸入Resnet50殘差網絡，得到圖像提取特征矩陣；所述圖像提取特征矩陣包括所述圖像數據集中每幅圖像對應的2048維特征向量；

將所述第二標簽矩陣和所述圖像提取特征矩陣輸入CNN網絡進行訓練和優化，得到優化后的CNN網絡；

確定待標注特征向量；所述待標注特征向量為待標注圖像對應的2048維特征向量；

將所述待標注特征向量輸入所述優化后的CNN網絡中，得到待標注圖像的標簽。

2.根據權利要求1所述的多標簽社交網絡圖像的標注方法，其特征在于，所述根據所述圖像數據集得到第一標簽矩陣，具體公式為：

式中，F表示第一標簽矩陣；F_ij表示n個圖像中的任一圖像i是否擁有m個標簽中的任一標簽j；若圖像i擁有標簽j，則對應F_ij＝1，若圖像i不擁有標簽j，則F_ij＝0。

3.根據權利要求1所述的多標簽社交網絡圖像的標注方法，其特征在于，所述利用柯西分布對所述第一標簽矩陣進行去噪處理，得到第二標簽矩陣，具體包括：

假設所述第一標簽矩陣中的噪聲符合柯西分布，利用柯西分布得到所述第一標簽矩陣中各噪聲的分布情況；

根據所述各噪聲的分布情況對所述第一標簽矩陣進行去噪處理，得到第二標簽矩陣。

4.根據權利要求1所述的多標簽社交網絡圖像的標注方法，其特征在于，所述將所述第二標簽矩陣和所述圖像提取特征矩陣輸入CNN網絡進行訓練和優化，得到優化后的CNN網絡，具體包括：

將所述第二標簽矩陣和所述圖像提取特征矩陣輸入CNN網絡中，得到CNN網絡實際輸出的標簽矩陣；

判斷所述CNN網絡實際輸出的標簽矩陣與所述第二標簽矩陣之間的誤差是否小于設定值；

若是，則輸出優化后的CNN網絡；

若否，則利用柯西分布對所述CNN網絡實際輸出的標簽矩陣進行去噪處理，得到第三標簽矩陣；

利用所述第三標簽矩陣更新所述第二標簽矩陣，并返回步驟“將所述第二標簽矩陣和所述圖像提取特征矩陣輸入CNN網絡中，得到CNN網絡實際輸出的標簽矩陣”。

5.根據權利要求1所述的多標簽社交網絡圖像的標注方法，其特征在于，所述確定待標注特征向量，具體包括：

將待標注圖像輸入Resnet50殘差網絡，得到待標注特征向量；所述待標注特征向量為所述待標注圖像對應的2048維特征向量。

6.一種多標簽社交網絡圖像的標注系統，其特征在于，包括：

圖像數據集獲取模塊，用于獲取圖像數據集；所述圖像數據集包括多個圖像以及各所述圖像對應的標簽；

第一標簽矩陣獲取模塊，用于根據所述圖像數據集得到第一標簽矩陣；

第二標簽矩陣獲取模塊，用于利用柯西分布對所述第一標簽矩陣進行去噪處理，得到第二標簽矩陣；

圖像提取特征矩陣獲取模塊，用于將所述圖像數據集輸入Resnet50殘差網絡，得到圖像提取特征矩陣；所述圖像提取特征矩陣包括所述圖像數據集中每幅圖像對應的2048維特征向量；

訓練和優化模塊，用于將所述第二標簽矩陣和所述圖像提取特征矩陣輸入CNN網絡進行訓練和優化，得到優化后的CNN網絡；

待標注特征向量確定模塊，用于確定待標注特征向量；所述待標注特征向量為待標注圖像對應的2048維特征向量；

待標注圖像標簽獲取模塊，用于將所述待標注特征向量輸入所述優化后的CNN網絡中，得到待標注圖像的標簽。