[發(fā)明專利]一種基于希爾伯特-施密特獨立性和度量學(xué)習(xí)的零樣本學(xué)習(xí)方法

在審

• 申請?zhí)枺?/td>: 202011069204.2
• 申請日: 2020-09-30
• 公開（公告）號: CN112200239A
• 公開（公告）日: 2021-01-08
• 發(fā)明（設(shè)計）人: 許磊;殷俊
• 申請（專利權(quán)）人: 上海海事大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 上海元好知識產(chǎn)權(quán)代理有限公司 31323
• 代理人: 周乃鑫;徐雯瓊

本發(fā)明公開了一種基于希爾伯特?施密特獨立性和度量學(xué)習(xí)的零樣本學(xué)習(xí)方法，包括：提取訓(xùn)練樣本的圖像特征和對應(yīng)類別的語義特征；根據(jù)訓(xùn)練樣本的圖像特征和對應(yīng)類別的語義特征，構(gòu)造訓(xùn)練樣本的圖像特征協(xié)方差矩陣、對應(yīng)類別的語義特征協(xié)方差矩陣以及圖像特征和對應(yīng)類別的語義特征的互協(xié)方差矩陣并將其代入典型相關(guān)分析公式，以構(gòu)建圖像特征和語義特征的公共特征空間；將公共特征空間中的訓(xùn)練類別的圖像特征和語義特征投影至馬氏距離協(xié)方差矩陣，得到使訓(xùn)練類別的圖像特征和訓(xùn)練類別的語義特征的關(guān)聯(lián)性最大的馬氏距離協(xié)方差矩陣；使用最近鄰分類器，距離待測類別圖像特征最近的待測類別語義特征所對應(yīng)的類別，就是所預(yù)測的圖像類別。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種基于希爾伯特-施密特獨立性和度量學(xué)習(xí)的零樣本學(xué)習(xí)方法。

背景技術(shù)

零樣本學(xué)習(xí)，也稱零樣本分類，是一種分類方法。可以識別出在訓(xùn)練數(shù)據(jù)中沒有出現(xiàn)過的測試數(shù)據(jù)的類別，即訓(xùn)練的分類器不僅僅能夠識別出訓(xùn)練集中已有的數(shù)據(jù)類別，還可以對于來自未見過類別的數(shù)據(jù)進(jìn)行區(qū)分。對于現(xiàn)階段應(yīng)用于圖像分類的零樣本學(xué)習(xí)任務(wù)而言，成功的關(guān)鍵在于對視覺和語義這兩種模態(tài)進(jìn)行跨模態(tài)映射關(guān)系的學(xué)習(xí)。這與人類的學(xué)習(xí)過程類似：人類既不是從海量的圖像或者視頻數(shù)據(jù)集中學(xué)習(xí)相關(guān)類別概念，也不是從海量語料庫中學(xué)習(xí)語言(語義)，而是從視覺和語言(語義)的交互中了解世間萬物。同時，零樣本學(xué)習(xí)的實現(xiàn)與度量學(xué)習(xí)的研究領(lǐng)域密不可分，其本質(zhì)是根據(jù)特定空間中的數(shù)據(jù)自主學(xué)習(xí)出針對某個特定任務(wù)的距離度量函數(shù)。對于零樣本學(xué)習(xí)任務(wù)，在獲取到合適的數(shù)據(jù)表征空間之后，則需要對不同模態(tài)樣本間的距離進(jìn)行度量學(xué)習(xí)，目的是保證嵌入到語義空間后樣本間的語義相似度關(guān)系得以保持。因此，零樣本學(xué)習(xí)又可以看作是在不同域中的度量學(xué)習(xí)過程。

綜上，零樣本學(xué)習(xí)可以看作是在對已提取的數(shù)據(jù)特征進(jìn)行度量學(xué)習(xí)的基礎(chǔ)上，通過借助輔助信息(屬性或文本)實現(xiàn)跨模態(tài)知識的遷移，從而完成可見類信息到未見類信息推斷的遷移學(xué)習(xí)過程。

現(xiàn)有的零樣本學(xué)習(xí)方法通常使用傳統(tǒng)的歐氏距離進(jìn)行度量，認(rèn)為樣本特征的各個維度都同等重要，沒考慮到樣本特征的各個維度的重要性不同，沒有消除樣本中不同特征維度之間的相關(guān)性和量綱差異。這往往不能有效地描述樣本間的關(guān)系。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于希爾伯特-施密特獨立性和度量學(xué)習(xí)的零樣本學(xué)習(xí)方法，采用馬氏距離度量學(xué)習(xí)消除樣本中不同特征維度之間的相關(guān)性和量綱差異，更加有效描述樣本之間的關(guān)系；同時使用希爾伯特-施密特獨立性準(zhǔn)則使得圖像特征與其對應(yīng)的語義特征相關(guān)性最大，從而削弱因不同類別之間共有屬性太多而造成在公共特征空間中難以區(qū)分的影響，以提高識別精度。

為了達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下：

一種基于希爾伯特-施密特獨立性和度量學(xué)習(xí)的零樣本學(xué)習(xí)方法，包括：

S1、提取訓(xùn)練樣本的圖像特征X和對應(yīng)類別的語義特征Y；

S2、根據(jù)訓(xùn)練樣本的圖像特征X和對應(yīng)類別的語義特征Y，構(gòu)造訓(xùn)練樣本的圖像特征協(xié)方差矩陣C_xx＝XX^T、對應(yīng)類別的語義特征協(xié)方差矩陣C_yy＝Y(jié)Y^T以及圖像特征和對應(yīng)類別的語義特征的互協(xié)方差矩陣C_xy＝XY^T；

S3、將訓(xùn)練樣本的圖像特征協(xié)方差矩陣C_xx＝XX^T、對應(yīng)類別的語義特征協(xié)方差矩陣C_yy＝Y(jié)Y^T以及圖像特征和對應(yīng)類別的語義特征的互協(xié)方差矩陣C_xy＝XY^T代入典型相關(guān)分析公式，進(jìn)行廣義特征值分解，得到前d個最大的特征值對應(yīng)的特征向量，由特征向量得到映射矩陣W₁和W₂，以構(gòu)建圖像特征和語義特征的公共特征空間；