[發明專利]基于排序學習的多標簽零樣本分類方法

在審

• 申請號: 201710794232.2
• 申請日: 2017-09-06
• 公開（公告）號: CN107766873A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 冀中;李慧慧
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所12201
• 代理人: 劉國威

1.一種基于排序學習的多標簽零樣本分類方法，其特征是，步驟如下：特征提取階段：利用已有的特征提取器進行不同模態的特征描述，得出訓練數據集(x_i,y_i)∈R^p×R^q，i＝1,…,n，其中x_i和y_i即為視覺特征和語義特征，n為訓練樣本個數，多標簽學習中，y_i不再是單個標簽的語義表征，而是樣本所對應標簽的語義向量間的線性組合；

多模態特征變換階段：采用回歸/嵌套法進行特征變換，給定訓練數據集(x_i,y_i)∈R^p×R^q，i＝1,…,n，將x_i,y_i分別記作X＝[x₁,…,x_n]∈R^p×n和Y＝[y₁,…,y_n]∈R^q×n，尋找兩組基向量w_x∈R^p與w_y∈R^q，對于任意訓練集中對應關系已知的樣本對(x,y)，使得隨機向量和在某一特定維度空間中相關性最大，從而得出最佳的公共空間W；測試階段，給定測試樣本X＝[x₁,…,x_m]∈R^p×m，i＝1,…,m，m為測試樣本個數，利用已訓練空間進行特征變換，將變換后所得特征向量記作對于測試樣本，所有可能對應的類別數為r，則所有可能的標簽組合為s＝2^r-1個，記作集合T＝[t₁,…,t_s]∈{-1,1}^r×s，其中1，-1表征某一標簽在某組合中存在與否，此時各標簽組合的語義特征即可通過各標簽詞向量經線性組合得出，記作Y＝[y₁,…,y_s]∈R^q×s，約簡后所得特征向量記為此時特征變換滿足關系：v＝u；其中p,q分別為特征變換前視覺特征、語義特征向量維度；u，v分別為特征變換后的視覺特征、語義特征向量維度；

分類標注階段：采取Learning to rank算法，基于數據對法Pairwise，通過支持向量機SVM來實現最終的多標簽標注，具體分類模型又分為兩個步驟：排序模型訓練和標簽預測，排序模型訓練階段，選取多模態特征變換階段所得數據數據和T，其中兩者間對應關系已知，得如下關系：

r(y^j)=<w,y^j>+b,j=1,...,s]]>

r(y_j)表示相關性程度，w和b分別為模型的權重和偏置參數，若特征向量和標簽信息t_j是已知對應關系，則相關性最大；兩者不完全對應，但標簽信息非常接近，則相關性次之；標簽信息完全不相關，則相關性最小。最終通過兩兩間的的排序對比得出一個相關性等級排序，基于這一假設，通過最小化某一排序損失函數，訓練得出模型參數w和b。標簽預測時，以為輸入送入已訓練的分類模型中，得最終預測標簽信息至此多標簽標注任務完成。

2.如權利要求1所述的基于排序學習的多標簽零樣本分類方法，其特征是，多模態特征變換階段，給定訓練樣本集合對，包含原始圖像及其對應標簽，且兩者間的標注信息確定，以此對模型進行訓練；分類標注階段，給定測試樣本的原始圖像，以及可能的標簽，此時兩者對應關系不確定，進行測試。