[發明專利]一種基于希爾伯特-施密特獨立性和度量學習的零樣本學習方法

在審

• 申請號: 202011069204.2
• 申請日: 2020-09-30
• 公開（公告）號: CN112200239A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 許磊;殷俊
• 申請（專利權）人: 上海海事大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 上海元好知識產權代理有限公司 31323
• 代理人: 周乃鑫;徐雯瓊

1.一種基于希爾伯特-施密特獨立性和度量學習的零樣本學習方法，其特征在于，包括：

S1、提取訓練樣本的圖像特征X和對應類別的語義特征Y；

S2、根據訓練樣本的圖像特征X和對應類別的語義特征Y，構造訓練樣本的圖像特征協方差矩陣C_xx＝XX^T、對應類別的語義特征協方差矩陣C_yy＝YY^T以及圖像特征和對應類別的語義特征的互協方差矩陣C_xy＝XY^T；

S3、將訓練樣本的圖像特征協方差矩陣C_xx＝XX^T、對應類別的語義特征協方差矩陣C_yy＝YY^T以及圖像特征和對應類別的語義特征的互協方差矩陣C_xy＝XY^T代入典型相關分析公式，進行廣義特征值分解，得到前d個最大的特征值對應的特征向量，得到映射矩陣W₁和W₂，以構建圖像特征和語義特征的公共特征空間；

S4、在公共特征空間中使用希爾伯特-施密特獨立性準則，將公共特征空間中的訓練類別的圖像特征和語義特征投影至馬氏距離協方差矩陣，使得訓練類別的圖像特征和訓練類別的語義特征的關聯性最大的矩陣。

2.如權利要求1的基于希爾伯特-施密特獨立性和度量學習的零樣本學習方法，其特征在于，語義特征為人工標注的屬性特征或由自然語言處理技術對類別名稱提取的文本特征。

3.如權利要求1的基于希爾伯特-施密特獨立性和度量學習的零樣本學習方法，其特征在于，還包括：

S5、在公共特征空間中使用馬氏距離公式對待測語義特征和待測圖像特征進行度量學習。

4.如權利要求3的基于希爾伯特-施密特獨立性和度量學習的零樣本學習方法，其特征在于，還包括：

S6、使用最近鄰分類器，距離測試樣本在公共特征空間中最近的測試類語義特征所對應的類別作為預測類別標簽。

5.如權利要求1的基于希爾伯特-施密特獨立性和度量學習的零樣本學習方法，其特征在于，步驟S3具體包括以下步驟：

S301、獲取N_s個樣本對{x_i,y_i}(i＝1,…,N_s)，樣本對包含兩個不同模態的特征向量x_i和y_i，由x_i和y_i組成的可以表為特征維數為p和q的特征矩陣和

S302、找到由前d個最大的特征值對應的特征向量所得到的一對映射矩陣W₁∈R^p×d和W₂∈R^q×d，其中，d是公共特征空間的維數，使得映射后和之間的相關系數最大，即其中，C_xx＝XX^T，C_yy＝YY^T和C_xy＝XY^T分別是X，Y協方差矩陣和互協方差矩陣；

S303、使用拉格朗日乘子法或者奇異值分解，得

S304、進行廣義特征值分解，由前d個最大特征值對應的特征向量得到映射矩陣W₁和W₂。

6.如權利要求1的基于希爾伯特-施密特獨立性和度量學習的零樣本學習方法，其特征在于，步驟S4具體包括以下步驟：

S401、其中，H＝I-(1/n)e^Te，和分別是訓練類別的圖像特征和訓練類別的語義特征所在空間；

S402、給定和上的核函數分別為：和其中，則可以得到它們關于訓練類別的圖像特征X和訓練類別的語義特征Y的核函數K₁和K₂；

S403、如果步驟S401中希爾伯特-施密特獨立性的值越大，訓練類別的圖像特征和訓練類別的語義特征的關聯性越大，訓練類別的圖像特征和訓練類別的語義特征關聯性增強，訓練類別的語義特征和待測類別的語義特征的共有屬性不占學習的主導地位，目標函數為：

S404、給定條件PP^T＝I，在其他的樣本變量固定的情況下，更新P是一個可以有效求解的特征值分解任務，一旦學習得到P，則馬氏距離度量矩陣的值為P^TP，以供下述步驟使用。