[發明專利]在標簽含噪情況下基于質量嵌入的圖像分類方法及系統

有效

• 申請號: 201710599924.1
• 申請日: 2017-07-21
• 公開（公告）號: CN107463953B
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 張婭;姚江超;王嘉杰;王延峰
• 申請（專利權）人: 上海媒智科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 31317 上海恒慧知識產權代理事務所(特殊普通合伙)
• 代理人: 徐紅銀<國際申請>=<國際公布>=<進入

1.一種在標簽含噪情況下基于質量嵌入的圖像分類方法，其特征在于：包括：

網絡圖片標簽收集步驟：從網絡圖片分享平臺上獲取圖片和用戶提供的標簽信息，按照所需種類進行過濾和整理，以便用于圖像分類器的訓練；

標簽質量因子嵌入步驟：在有監督的圖像分類模型中引入標簽質量因子，用于控制帶噪標簽的預測值生成和吸收來自錯誤標簽的誤差回傳信息；利用最大化對數似然函數，設計加入標簽質量因子之后的優化目標函數；

網絡模型構建步驟：利用深度神經網絡對優化目標函數進行建模，得到四個模型，分別為編碼模型、采樣模型、解碼模型和分類模型；

網絡參數訓練步驟：將網絡圖片標簽收集步驟得到的訓練圖片和帶噪聲的標簽輸入網絡模型構建步驟得到的上述網絡模型，使用變種的隨機梯度下降法端到端的聯動訓練上述四個模型，同時更新模型參數，得到訓練好的網絡模型；

圖像分類步驟：對于要求分類的新圖片，輸入至訓練好的分類模型，得到對圖片真實標簽的預測，同時產生圖像的分類結果；

所述標簽質量因子嵌入步驟中，在現有的有監督的圖像分類模型中，加入圖片標簽質量因子的嵌入，使新的優化目標函數為：

其中x_m和y_m分別是第m張圖片的像素集合和相應用戶提供的噪聲標簽，z_m和s_m分別是代表圖片真實標簽和標簽質量的隱藏變量，M代表用于訓練的圖片總數；

新的優化目標函數由于加入了標簽質量因子，對訓練數據集中錯誤的標簽造成的不良影響有吸收作用，同時，該新的優化目標函數的梯度函數難以計算，因此首先轉而優化其證據下界，同時利用重參技巧簡化訓練所需的計算資源，得到最終的優化目標函數公式組合；

所述網絡模型構建步驟，利用深度神經網絡對最終的優化目標函數公式組合分別進行建模，得到四個模型：編碼模型、采樣模型、解碼模型和分類模型；其中：

所述編碼模型，采用卷積神經網絡，用于從圖片內容X生成噪聲標簽的先驗預測并聯合噪聲標簽y對標簽質量分布q(S|X,Y)和真實標簽分布q(Z|X,Y)進行預測；

所述采樣模型，用于將編碼模型生成的標簽質量分布q(S|X,Y)和真實標簽分布q(Z|X,Y)映射為確切值S和Z；

所述解碼模型，采用神經網絡，其輸入為采樣模型的輸出標簽質量S和真實標簽Z，用于生成對噪聲標簽的后驗預測q(Y|Z,S)；

所述分類模型，采用卷積神經網絡，其利用圖片生成對真實標簽Z的預測。

2.根據權利要求1所述在標簽含噪情況下基于質量嵌入的圖像分類方法，其特征在于：所述網絡參數訓練步驟，利用解碼模型恢復的噪聲標簽后驗預測q(Y|Z,S)進行有監督的模型訓練，計算編碼模型、采樣模型、解碼模型的回傳梯度，更新模型參數，同時，利用在編碼模型中得到的真實標簽分布q(Z|X,Y)對分類模型進行有監督的模型訓練，計算神經網絡回傳梯度，更新模型參數。

3.根據權利要求1-2任一項所述在標簽含噪情況下基于質量嵌入的圖像分類方法，其特征在于：所述網絡圖片標簽收集步驟中，運用了網絡爬蟲技術，在圖片社交網站上收集所需要的圖片以及用戶標注的標簽。