[發明專利]視角和標簽雙重缺失下的深度不完整多視角多標簽分類方法

有效

• 申請號: 202110300226.3
• 申請日: 2021-03-22
• 公開（公告）號: CN112926675B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 文杰;王俊茜;徐勇;張永兵;徐增林
• 申請（專利權）人: 哈爾濱工業大學（深圳）
• 主分類號: G06F18/2431
• 分類號: G06F18/2431;G06F18/25;G06F18/214;G06F18/21;G06N3/0455;G06N3/0442;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 深圳市添源創鑫知識產權代理有限公司 44855
• 代理人: 覃迎峰

本發明提供了一種視角和標簽雙重缺失下的深度不完整多視角多標簽分類方法，包括網絡模型訓練步驟和測試樣本標簽預測步驟。本發明的有益效果是：本發明不僅適用于任何不完整/完整多視角多標簽分類情形；而且同樣適用于半監督分類和全監督分類情形。本發明具有很高的實時性，能夠實時在線處理完整/不完整多視角多標簽數據的分類任務。

技術領域

本發明涉及模式識別技術領域，尤其涉及一種視角和標簽雙重缺失下的深度不完整多視角多標簽分類方法。

背景技術

近年來，多視角學習在機器學習和計算機視覺領域都受到了許多關注，在諸如推薦系統、生物特征分析、視頻圖像標注、疾病診斷等應用場景都有許多成功的應用案例。多視角學習主要通過聯合挖掘多個傳感器或從多個不同源域采集到的多視角數據信息來得到更好的性能。在多視角多標簽分類研究領域，基于潛在語義感知的多視角多標簽分類方法(Latent?semantic?aware?multi-view?multi-label?classification)、流形正則多視角多標簽分類方法(Manifold?regularized?multi-view?multi-label?classification)和多視角標簽嵌入方法是其中比較具有代表性的方法，這些傳統方法的模型普遍假定用于模型訓練的多視角數據含有完整的視角和標簽信息。然而，在實際應用中，所采集到的多視角數據通常不完整，存在部分標簽信息和視角信息缺失的現象。例如，在基于視頻圖像、文本和音頻的多媒體視頻數據標注任務中，存在部分視頻文件中缺失文本字幕信息或聲音的現象；此外，由于視頻標注的模糊性和復雜性，很難人為對所有視頻都貼上準確的標簽信息，導致出現部分視角信息缺失和標簽信息缺失的不完整多視角多媒體視頻數據。

顯然，基于視角和標簽完備性假設的傳統多視角多標簽分類模型無法直接處理含有視角缺失或標簽信息缺失的數據。近年來，針對視角缺失或標簽信息缺失下的多視角學習問題，學者們也進行了一些研究，但是當前研究成果大多僅能處理其中一種信息缺失下的多視角學習問題。例如，多視角嵌入學習(Multi-view?embedding?learning)方法被提出來解決不完整標簽信息情形下的學習問題，但是該方法并不能處理視角信息不完整的數據；不完整多視角學習(Multi-view?learning?with?incomplete?views)針對視角缺失下的多視角學習問題提供了解決方案，但是該方法不能處理不完整標簽信息下的多視角數據分類任務。

根據調研，目前國內外能夠同時處理不完整視角和不完整標簽信息下多視角數據的方法還不多見。為了解決不完整視角和不完整標簽信息下多視角數據分類難題，不完整多視角弱標簽學習(incomplete?multi-view?weak-label?learning，iMvWLL)設計了一種基于加權矩陣分解的模型，其中一個矩陣分解模型用于得到多個視角間的共享表征，而另一個矩陣分解模型則用于標簽預測。該工作是罕見的能夠同時解決兩種不完整信息下的多視角分類方法，但是該方法存在諸多缺陷，如：1)該方法所得到的模型不能處理新數據；2)該模型擴展性差，不能直接處理含有圖像、文本、音頻等混合形式的多視角數據；3)該方法特征抽取能力弱、性能差。

發明內容

為了解決多視角學習中的視角和標簽信息雙重缺失難題，并滿足實際應用場景中實時處理新數據和高性能的需求，本發明提供了一種視角和標簽雙重缺失下的深度不完整多視角多標簽分類方法。

本發明提供了一種視角和標簽雙重缺失下的深度不完整多視角多標簽分類方法，包括網絡模型訓練步驟和測試樣本標簽預測步驟，

所述網絡模型訓練步驟包括：

步驟1，數據輸入及填充步驟：輸入不完整多視角多標簽訓練數據，將數據和標簽矩陣中的缺失值用0值填充；