[發明專利]一種基于互聯網社交系統的圖像分類方法及裝置

有效

• 申請號: 201911036586.6
• 申請日: 2019-10-29
• 公開（公告）號: CN110796192B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 陳小軍;陳炳坤
• 申請（專利權）人: 深圳大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/40;G06V10/82;G06F16/55;G06N3/0464;G06N3/0895;G06Q50/00
• 代理公司: 深圳市恒申知識產權事務所(普通合伙) 44312
• 代理人: 鮑竹

1.一種基于互聯網社交系統的圖像分類方法，其特征在于，包括：

從互聯網社交系統的數據庫中獲取圖像數據，以及基于所述圖像數據的社交網絡信息；

根據所述社交網絡信息構建基于所述圖像數據的N個關系網絡，N個所述關系網絡表示所述圖像數據中圖像之間的多種關系；

通過多關系網絡表征學習算法或半監督網絡表征學習算法訓練N個所述關系網絡，獲得N個所述關系網絡的網絡表征向量Φ；

在已分類樣本圖像中提取視覺特征I，其中所述圖像數據包括所述已分類樣本圖像；

構建神經網絡分類器，并通過所述網絡表征向量Φ和所述視覺特征I訓練所述神經網絡分類器，以使訓練后的神經網絡分類器對待分類圖像進行分類；

其中，通過半監督網絡表征學習算法訓練N個所述關系網絡，獲得N個所述關系網絡的網絡表征向量Φ，包括：

將N個所述關系網絡進行格式轉換；

通過半監督網絡表征學習算法學習N個所述關系網絡中每個節點的表征向量φ₁,...,φ_m；

采用負采樣算法優化所述每個節點的表征向量；

拼接所述每個節點的表征向量φ₁,...,φ_m，并進行歸一化處理，獲得N個所述關系網絡的網絡表征向量Φ；

其中，通過多關系網絡表征學習算法訓練N個所述關系網絡，獲得N個所述關系網絡的網絡表征向量Φ，包括：

將N個所述關系網絡進行格式轉換；

通過所述關系網絡表征學習算法識別N個所述關系網絡的重要性；

其中，用α_l表示第N個所述關系網絡的重要性，并將N個所述關系網絡融合，公式為：

通過矩陣分解方法分解融合后的關系網絡，獲得N個所述關系網絡的網絡表征向量Φ。

2.如權利要求1所述的基于互聯網社交系統的圖像分類方法，其特征在于，根據所述社交網絡信息構建基于所述圖像數據的N個關系網絡，包括：

在所述圖像數據中N次隨機獲取兩個圖像作為一個圖像組，并獲取第N個所述圖像組中兩個圖像的社交網絡信息，其中N為正整數；

所述兩個圖像的社交網絡信息包括相同社交網絡信息T，T＝(t₁,...,t_n)，其中，t_n表示社交網絡信息中的一個信息，n為正整數；

計算第N個所述圖像組中的兩個圖像的連接權重A_m，公式為其中，T₁和T₂為第N個所述圖像組中類型相同的兩個社交網絡信息，m為小于或等于N的正整數；

根據N個所述圖像組中的兩個圖像的連接權重A_m，構建以所述兩個圖像為網絡節點的N個關系網絡G，公式為G＝(V,A_m)。

3.如權利要求1所述的基于互聯網社交系統的圖像分類方法，其特征在于，在已分類樣本圖像中提取視覺特征I，包括：

在圖像網頁上訓練構建卷積神經網絡，并修改所述卷積神經網絡的最后一層全連接層；

使用所述圖像數據再訓練所述卷積神經網絡，獲得特征提取神經網絡；

將所述已分類樣本圖像輸入所述特征提取神經網絡，所述特征提取神經網絡的最后一層隱藏層的一個激活值作為所述已分類樣本圖像的一個圖像視覺特征；

將所述已分類樣本圖像的所有所述圖像視覺特征進行歸一化處理，獲得基于所述已分類樣本圖像的視覺特征I。

4.權利要求1所述的基于互聯網社交系統的圖像分類方法，其特征在于，構建神經網絡分類器，并通過所述網絡表征向量Φ和所述視覺特征I訓練所述神經網絡分類器，以使訓練后的神經網絡分類器對待分類圖像進行分類，包括：

拼接所述網絡表征向量Φ和所述視覺特征I；

根據拼接后的所述網絡表征向量Φ和所述視覺特征I訓練所述神經網絡分類器；

將所述待分類圖像輸入訓練后的所述神經網絡分類器中進行分類。

5.如權利要求1所述的基于互聯網社交系統的圖像分類方法，其特征在于，所述社交網絡信息包括標簽信息、用戶信息、圖片組類信息、拍攝位置信息和評論用戶信息中的至少一種。