[發明專利]一種面向人物交互的多重語義融合少樣本分類方法

有效

• 申請號: 201910301393.2
• 申請日: 2019-04-15
• 公開（公告）號: CN110097094B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 冀中;劉西瑤
• 申請（專利權）人: 天津大學
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06F18/25
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 杜文茹

一種面向人物交互的多重語義融合少樣本分類方法，從元訓練集的支持集中隨機取得不同類別樣本的視覺特征；將不同類別樣本的視覺特征送到用于感知人物交互關系的第一多重語義融合網絡中得到不同類別樣本的多重語義融合后的特征向量；從元訓練集的查詢集取得樣本的視覺特征，送到用于感知人物交互關系的第二多重語義融合網絡中得到多重語義融合后的特征向量；依次將查詢集和支持集的視覺特征輸入到兩個多重語義融合網絡中，根據多重語義融合后的特征向量計算屬于各個類別的概率；設定目標函數，進行訓練和進行測試后計算屬于各個類別的概率，將計算得到的概率中最大的概率所對應的類別，作為查詢集視覺特征的類別。本發明實現了對復雜場景下人與物體關系的分類。

技術領域

本發明涉及一種多重語義融合少樣本分類方法。特別是涉及一種基于元學習的面向人物交互的多重語義融合少樣本分類方法。

背景技術

深度學習技術是在大量數據和大規模訓練的基礎上，模擬或實現人類的學習行為，以獲取新的知識或技能。目前，深度學習技術已經在計算機視覺領域取得較大成功，具體任務如圖像分類、目標檢測和語義分割等。然而，在某些任務和領域上，存在數據獲取困難，沒有大量訓練數據的問題。而人類在學習新知識時候能夠利用已有知識經驗進行轉化從而快速學習。比如，給一個幼童看一張“長頸鹿”的圖片，很大概率上，他會在第二次、第三次認出同類別圖片屬于“長頸鹿”。因此，人類天生具備歸納和總結的能力，往往經過非常少次數的“訓練”就能記住物體的特征，在下一次見到的時候就能將其歸為最為接近的一類，從而達到認知事物的目的。元學習(Meta?Learning)的思想是利用已有的先驗知識能夠快速適應新的學習任務。近幾年來，基于元學習的少樣本學習引起了廣泛關注。少樣本學習(Few?Shot?Learning)的任務是面對僅有少量樣本的測試類圖像，對其進行類別識別。

在元學習中，將圖像類別分為元訓練集(Meta?Train?Set)和元測試集(Meta?TestSet)，其類別互不重合。在訓練集中又分為支持集(Support?Set)和查詢集(Query?Set)，用來模擬一次訓練和測試的過程。元學習將每一次訓練當做一個任務來進行訓練。通過對已有任務的學習，來提升對未見任務的分類準確率。通過對支持集和查詢集的視覺特征進行匹配，完成分類。元學習在此框架下，學習一種視覺特征與視覺特征的匹配關系，以實現新任務的自動分類，常用的方法有匹配網絡(Matching?Network)，關系網絡(RelationNetwork)和原型網絡(Prototypical?Network)等。常用的訓練參數是五個類別一起訓練，每個類別使用不同的樣本數，進行網絡訓練。訓練類使用的樣本個數越多，對于分類愈加有利，一般一張或者五張，來作為評價標準。一般情況下，隨機在類內選取訓練樣本會帶有一定的特異性，元學習則是提取某類樣本的共性，忽視其特異性，來構建圖像與圖像視覺特征之間的關系模型。

現在基于元學習的少樣本訓練主要存在以下問題：

1、現階段少樣本訓練的任務比較簡單，用于少樣本訓練的測試集僅局限于手寫字符數據集(Omniglot)和單標簽分類數據集(miniImageNet)。這兩個數據集中的圖像尺寸較小，視覺場景單一，主要集中于圖像中間的事物。現有的少樣本學習的算法在這兩個數據集上已經達到了比較高的水平，一定程度上限制了基于元學習的少樣本訓練的發展。

2、目前，少樣本學習缺少對復雜場景下人物關系的探索。人物交互關系的正確識別是許多計算機視覺任務的先決條件，如圖像描述、圖像檢索等。以人為主體的活動場景復雜多樣，網絡提取的視覺特征難以提供豐富的可判別信息。同時，人物交互中存在一些非常見的組合，導致類別間的樣本極度不均衡。這些都對基于元學習的少樣本訓練提出了挑戰。

發明內容

本發明所要解決的技術問題是，提供一種在僅有少量樣本的情況下融合語義信息對圖像中的人物關系進行分類的面向人物交互的多重語義融合少樣本分類方法。

本發明所采用的技術方案是：一種面向人物交互的多重語義融合少樣本分類方法，包括如下步驟：