[發明專利]基于注意力指導的外部記憶和元學習的小樣本學習方法

在審

• 申請號: 202010426810.9
• 申請日: 2020-05-19
• 公開（公告）號: CN111695603A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 張磊;甄先通;李欣;左利云;陳林凱;陳宏瓊;蔡澤濤
• 申請（專利權）人: 廣東石油化工學院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00;G06F16/245;G06F16/22
• 代理公司: 北京久維律師事務所 11582
• 代理人: 邢江峰

1.基于注意力指導的外部記憶和元學習的小樣本學習方法，其特征在于：包括以下步驟：

輸入：優化后的網絡參數Θ＝{θ₁，θ₂，θ₃，φ}，新任務下的支持數據集和查詢集

輸出：查詢集的預測結果

S1、對支持數據集和查詢集數據，分別計算其特征和關鍵索引值如下：

S2、對分類器中類別c，進行以下計算：

S3、構建整體分類器如下：

W＝[w₁，...，w_c，...，w_C]

b＝[b₁，...，b_c，...，b_C]；

S4、計算注意力權重ω_q，i和從記憶機制中根據注意力得到的參考數值v_q：

S5、針對查詢集，計算其特征表示如下：

S6、進行預測如下：

2.根據權利要求1所述的基于注意力指導的外部記憶和元學習的小樣本學習方法，其特征在于：所述網絡參數Θ＝{θ₁，θ₂，θ₃，φ}的優化過程包括以下步驟：

輸入：任務的分布學習率λ、迭代次數N_iter；

輸出：網絡參數Θ＝{θ₁，θ₂，θ₃，φ}；

步驟1：對網絡參數Θ＝{θ₁，θ₂，θ₃，φ}隨機初始化；

步驟2：在迭代次數N_iter內，完成以下操作：

步驟2.1：根據任務分布隨機生成T個任務，其中第i個任務表示為

步驟2.2：對任務完成以下操作：

步驟2.2.1：從中生成支持數據集和查詢集數據

步驟2.2.2：對支持數據集和查詢集數據，分別計算其特征和關鍵索引值如下：

步驟2.2.3：針對支持數據集，計算value值如下：

步驟2.2.4：對每一個分類器類別c，利用參數為φ的推理網絡g，針對第c類所有樣本，做如下操作：

步驟2.2.5：構建整體分類器如下：

W＝[w₁，...，w_c，...，w_C]

b＝[b₁，...，b_c，...，b_C]；

步驟2.2.6：計算注意力權重ω_q，i和從記憶機制中根據注意力得到的參考數值v_q：

步驟2.2.7：針對查詢集，計算其特征表示如下：

步驟2.2.8：計算損失函數如下：

步驟2.2.9：遵循損失函數最小的原則，按照梯度下降方法優化參數Θ＝{θ₁，θ₂，θ₃，φ}如下：

步驟2.3：回到步驟2.2，直到所有任務完成；

步驟3：回到步驟2，直到達到所需的迭代次數為止。

3.根據權利要求1所述的基于注意力指導的外部記憶和元學習的小樣本學習方法，其特征在于：所述學習方法中包括兩個元素：基于注意力的外部記憶機制M和分類器。