[發(fā)明專利]一種用于多視圖分類的再分配方法

有效

• 申請?zhí)枺?/td>: 202010084442.4
• 申請日: 2020-02-10
• 公開（公告）號: CN111340067B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計）人: 張長青;張宇桐;付海娟
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/40;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

本發(fā)明公開了一種用于多視圖分類的再分配方法，包括定義一個整合網(wǎng)絡(luò)、一個合并空間網(wǎng)絡(luò)、多個注意力網(wǎng)絡(luò)，隨機初始化網(wǎng)絡(luò)的參數(shù)；整合網(wǎng)絡(luò)從多個視圖中集成特征，獲得統(tǒng)一表示；將統(tǒng)一表示輸入到多個注意力網(wǎng)絡(luò)中，輸出多個權(quán)重向量作為多組注意力掩碼；再將統(tǒng)一表示和注意力掩碼逐元素相乘以選擇有用的特征，形成第m個視圖z_m；定義預(yù)設(shè)規(guī)則對z_m進行更新，獲得公共空間中第m個偽視圖；將不同學(xué)習(xí)器學(xué)到的多個偽視圖的隱表示進行拼接，得到完備的表示構(gòu)建損失函數(shù)，根據(jù)損失函數(shù)更新整合網(wǎng)絡(luò)、合并空間網(wǎng)絡(luò)、注意力網(wǎng)絡(luò)的參數(shù)；若損失函數(shù)已收斂訓(xùn)練結(jié)束。本發(fā)明在統(tǒng)一框架中探索多個視圖間一致性和多樣性，使分類性能得到顯著提升。

技術(shù)領(lǐng)域

本發(fā)明涉及多視圖分類領(lǐng)域，尤其涉及一種用于多視圖分類的再分配方法。

背景技術(shù)

在實際應(yīng)用中，數(shù)據(jù)可以從不同角度描述(多視圖)，例如，在視頻中通常包括語音信號、文本信息和圖像信息；一則新聞通常包括文本信息和圖像信息；即使是單一模態(tài)的數(shù)據(jù)，也可以提取不同類型的描述來表征不同的屬性。研究如何更好的融合多個視圖的信息在現(xiàn)實生活中有重要的意義，醫(yī)學(xué)數(shù)據(jù)中，疾病的診斷通常需要結(jié)合多種醫(yī)療檢測手段的結(jié)果；在自動駕駛領(lǐng)域，汽車對外部環(huán)境的感知需要融合多種傳感器的結(jié)果。因此，多視圖學(xué)習(xí)受到了廣泛關(guān)注，如何有效地整合多種視圖已經(jīng)成為研究熱點。

在監(jiān)督學(xué)習(xí)方面，最具代表性的方法是多視圖度量學(xué)習(xí)，該方法旨在為每個視圖學(xué)習(xí)指定的度量函數(shù)，探討了度量學(xué)習(xí)框架下多視圖之間的互補性或一致性。例如，LargeMargin Multi-Metric Learning(LM3L)聯(lián)合地學(xué)習(xí)多個度量通過最大化不同視圖之間的一致性。受深度學(xué)習(xí)的鼓勵，The Sharable and Individual Multi-view Deep MetricLearning(MvDML)利用神經(jīng)網(wǎng)絡(luò)為多個視圖學(xué)習(xí)多個距離度量函數(shù)通過最大化視圖之間的互補性同時為所有視圖學(xué)習(xí)一個共同的度量，保留多個視圖之間的共有信息。

對于無監(jiān)督學(xué)習(xí)，多視圖表示學(xué)習(xí)通常通過最大化不同視圖之間的相關(guān)性或一致性，為數(shù)據(jù)學(xué)習(xí)一個完備的表示。其中最有代表性的方法是基于規(guī)范相關(guān)分析(CCA)的方法，包括原始CCA、內(nèi)核化CCA(即KCCA)以及深層CCA(即DCCA)。這些方法將不同的視圖映射到公共的低維空間，然后最大化各個視圖學(xué)到的表示之間的相關(guān)性。與基于CCA的方法不同，多樣性誘導(dǎo)的多視圖子空間聚類(DiMSC)通過利用Hilbert Schmidt獨立準(zhǔn)則(HSIC)作為多樣性約束來探索多視圖特征之間的互補性來提升多視圖聚類。

集成學(xué)習(xí)是一項簡單而強大的技術(shù)。早期的方法通常利用多個訓(xùn)練樣本的隨機子集構(gòu)建多個學(xué)習(xí)器，或者利用不同初始化構(gòu)建多個學(xué)習(xí)器，然后平均多個學(xué)習(xí)器的預(yù)測結(jié)果。集成學(xué)習(xí)成功的關(guān)鍵因素是“好而不同”，即在確保類別分離性的同時要確保不同學(xué)習(xí)者之間足夠的多樣性，因此，近些年來，更多的研究關(guān)注于增強多樣性。Attention-basedensemble for deep metric learning(基于注意力的深度度量學(xué)習(xí)集成)通過使用不同注意力模塊來關(guān)注圖像的不同位置，從而增強多樣性。現(xiàn)在存在的集成學(xué)習(xí)下的多視圖研究方法，類似于“盲人摸象”的行為。每個視圖根據(jù)自己的單獨的信息做出預(yù)測，最終通過組合(例如：投票法)多個預(yù)測結(jié)果得到最終分類結(jié)果。

盡管現(xiàn)有方法已經(jīng)在多視圖學(xué)習(xí)中取得了巨大的成功，但仍然存在一些主要限制。首先，大多數(shù)現(xiàn)有的多視圖方法都假設(shè)數(shù)據(jù)的不同的視圖高度相關(guān)，通過最大化視圖之間的相關(guān)性從而保持一致性，但是在多個視圖之間，通常都存在一致且互補的信息，僅在一側(cè)過分強調(diào)可能會使性能不令人滿意。其次，大多數(shù)現(xiàn)有模型通常在每個視圖中構(gòu)造模型，然后將其約束為多個視圖之間的一致性或互補性，這無法完全探索不同視圖之間的交互。

發(fā)明內(nèi)容

本發(fā)明提供了一種用于多視圖分類的再分配方法，本發(fā)明利用注意力網(wǎng)絡(luò)對多視圖數(shù)據(jù)進行分類，能夠在統(tǒng)一框架中共同探索多個視圖間一致性和多樣性，打破了不同視圖之間的界限，使分類性能得到顯著提升，詳見下文描述：