[發明專利]融合圖像及其文本描述的零-小樣本機器學習方法及系統

有效

• 申請號: 202110083109.6
• 申請日: 2021-01-21
• 公開（公告）號: CN112801159B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 黃健;潘崇煜;劉權;郝建國;張中杰;龔建興
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V10/764;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 譚武藝

1.一種融合圖像及其文本描述的零-小樣本機器學習方法，其特征在于，包括：

1）對支持集D_t^support中的每個圖像樣本及其類別文本描述向量(I_i^t ,u_i^t)：基于訓練好的圖像卷積編碼器計算圖像樣本I_i^t的圖像特征向量x_i^t =Φ (I_i^t; θ*_CNN)，其中θ*_CNN為訓練好的圖像卷積編碼器參數；基于訓練好的文本映射編碼器計算類別文本描述向量u_i^t的映射特征向量s_i^t=Ψ(u_i^t; θ*_Mapping)，其中θ*_Mapping為訓練好的文本映射編碼器的參數；所述圖像卷積編碼器為卷積神經網絡編碼器，所述卷積神經網絡編碼器包括依次連接的4個卷積層，每個卷積層為64通道，采用3*3卷積核，批正則化以及ReLU非線性操作，在前兩層卷積層后采用2*2最大池化對特征圖進行降采樣；所述文本映射編碼器為全連接神經網絡模型，所述全連接神經網絡模型包括輸入層、隱含層和輸出層，隱含層采用ReLU作為非線性操作，同時維度設置為與圖像卷積編碼器的輸出維度相同，輸出層維度與圖像特征向量維度保持一致；且所述全連接神經網絡模型在訓練過程中采用剪枝操作，在測試階段，對待識別樣本預測過程中，計算所有全連接參數；

2）對于支持集D_t^support中第k類圖像特征向量x_k,1, x _k,2, …, x _k,N，取其均值作為該類別圖像特征中心點x_k；基于該類別圖像特征中心點x_k及該類別的映射特征向量s_k計算該類別特征表征向量v_k，其中k=1,2,…,M，M為支持集D_t^support的類別總數，N為支持集D_t^support中每個類別的樣本數量；

3）對于測試集D_t^query中的待識別樣本I^query，首先基于訓練好的圖像卷積編碼器計算其圖像特征向量x^query =Φ (I^query;θ*_CNN)；然后基于訓練好的關系度量網絡計算圖像特征向量x^query與支持樣本集中每一類別特征表征向量v_k的相似度Re(x^query,v_k) =φ(x^query, v_k;θ*_Relation)，其中θ*_Relation為訓練好的關系度量網絡的參數，其中k=1,2,…,M；所述關系度量網絡包含2層卷積層和2層全連接層，用于將支持樣本和待測試樣本的兩個樣本中心點特征向量連接，之后依次通過2層卷積層和2層全連接層，最終輸出兩個中心點特征向量的相似度，且其中卷積層設置為64通道，3*3卷積核，卷積操作之后進行批正則化、ReLU非線性操作以及2*2最大池化降維操作；

4）在支持集D_t^support的M個類別中，選取相似度Re(x^query,v_k)最大的類作為待識別樣本的預測類別標簽y^query。