[發明專利]一種利用全量數據訓練零樣本圖像分類方法

有效

• 申請號: 201911099506.1
• 申請日: 2019-11-12
• 公開（公告）號: CN110826639B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 廖祥文;肖永強;丘永旺;徐戈;陳開志
• 申請（專利權）人: 福州大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發明涉及一種利用全量數據訓練零樣本圖像分類方法，包括以下步驟：步驟S1:將全量數據分為源數據和目標數據；步驟S2:將源數據集和目標數據集輸入視覺特征網絡，將原始圖像映射到視覺特征空間,得到圖像視覺特征向量；步驟S3:將原始圖像的低維屬性語義通過語義轉換網絡映射到高維，得到語義特征向量；步驟S4:根據得到的圖像視覺特征向量和語義特征向量，利用視覺?屬性語義銜接網絡完成融合，得到拼接結果；步驟S5:根據拼接結果，通過得分子網絡在語義空間中產生原始圖像每一類的得分，并根據得分輸出最終的預測結果。本發明能夠有效的解決圖像類別標簽缺失問題。

技術領域

本發明涉及零樣本圖像分類方法，具體涉及一種利用全量數據訓練零樣本圖像分類方法。

背景技術

在進行圖像分類的過程中，如若想準確對圖像進行分類則需要告知模型每個類別的圖像標簽。然而，圖像類別數往往非常大，而且有可能不定時增加新的類別，如果每次都采用人工去標注每個類別標簽，那么工作量將會極其巨大。在這過程中，有些類別也只有少量或者沒有訓練樣本標簽，而整個類別沒有訓練標簽的類別樣本稱為零樣本，這樣的零樣本采用傳統的機器學習方法構造分類器是無法奏效的。因為傳統的模型需要通過有標簽樣本來構造一個類別的參數化/非參數化模型，不論是生成模型還是判決模型，都需要有標簽數據作為構造條件概率模型的基礎。

近些年來，深度學習已經在圖像領域中取得驚人突破，主要原因歸于兩個方面，即除了硬件運算力的提升很大程度上也都依賴大量的有標簽數據。在實際應用場景中，經常出現很難獲取數據標簽的問題，又或是需要耗費高額成本才能得到一定數量的標簽。深度學習成為機器學習研究過程中一個重要領域分支，其目的是為了構造出形如人腦一樣由許多神經元組成的網絡，并能夠實現學習分析能力。深度學習的運作機制是模仿人腦來對數據進行解釋，一般數據分為圖像、聲音和文本，這些數據具有局部空間特征。

零樣本圖像分類思想和遷移學習是一樣的，通過訓練已有的視覺類別信息遷移到新圖像類別，并實現對其分類。人類能夠通過學習已見過的視覺信息與語義信息，讓這些建立聯系，通過這樣的聯系去判別新圖像類別，使得具備識別未見過圖像類別的能力。假設要教會一名兒童可以識別出一匹斑馬但從來沒有認識過斑馬，而當他被告訴說馬與斑馬外形非常相似，在顏色上有點像企鵝一樣黑白色的，在外表條紋上有點像老虎一樣黑白相間的才是斑馬。鑒于這名兒童已經學習過馬的視覺信息，于是，在這名兒童再看馬和斑馬的時候，就可能準確辨認出哪些是斑馬哪些是馬。在零樣本學習圖像分類中，未知的圖像類別并沒有已知的標簽，但可以通過對已知圖像類別相關知識的學習，然后遷移到未知的圖像類別當中，從而對未知的圖像類別樣本進行結果預測。

發明內容

有鑒于此，本發明的目的在于提供一種利用全量數據訓練零樣本圖像分類方法，能有效解決解決圖像類別標簽缺失問題。

為實現上述目的，本發明采用如下技術方案：

一種利用全量數據訓練零樣本圖像分類方法，提供一分類模型，包括視覺特征網絡、屬性語義轉換網絡、視覺-屬性語義銜接網絡和得分網絡，具體包括以下步驟：

步驟S1:將全量數據分為源數據和目標數據；

步驟S2:將源數據集和目標數據集輸入視覺特征網絡，將原始圖像映射到視覺特征空間,得到圖像視覺特征向量；

步驟S3:將原始圖像的低維屬性語義通過語義轉換網絡映射到高維，得到語義特征向量；

步驟S4:根據得到的圖像視覺特征向量和語義特征向量，利用視覺-屬性語義銜接網絡完成融合，得到拼接結果；

步驟S5:根據拼接結果，通過得分子網絡在語義空間中產生原始圖像每一類的得分，并根據得分輸出最終的預測結果。

進一步的，所述源類數據是有標簽的，目標類數據沒有標簽。

進一步的，所述視覺特征網絡采用ResNet101。