[發(fā)明專利]文本分類模型的元學(xué)習(xí)方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110702623.3
• 申請日: 2021-06-24
• 公開（公告）號: CN113434648A
• 公開（公告）日: 2021-09-24
• 發(fā)明（設(shè)計）人: 饒剛
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F40/289;G06K9/62
• 代理公司: 深圳國新南方知識產(chǎn)權(quán)代理有限公司 44374
• 代理人: 周雷

1.一種文本分類模型的元學(xué)習(xí)方法，其特征在于，所述方法包括：

獲取文本樣本數(shù)據(jù)，所述文本樣本數(shù)據(jù)攜帶有所述文本樣本數(shù)據(jù)所屬類別的標(biāo)識，其中，至少一個所述類別中包含的文本樣本數(shù)據(jù)的數(shù)量小于預(yù)設(shè)值；

將文本樣本數(shù)據(jù)的數(shù)量小于所述預(yù)設(shè)值的類別中包含的文本樣本數(shù)據(jù)確定為元測試集，將文本樣本數(shù)據(jù)的數(shù)量大于等于所述預(yù)設(shè)值的類別中包含的文本樣本數(shù)據(jù)確定為元訓(xùn)練集；

通過所述元訓(xùn)練集對文本分類模型進(jìn)行元訓(xùn)練，得到文本分類模型學(xué)習(xí)器；

將所述文本分類模型學(xué)習(xí)器作為待訓(xùn)練的文本分類模型，通過所述元測試集對所述文本分類模型學(xué)習(xí)器進(jìn)行測試訓(xùn)練，當(dāng)所述文本分類模型學(xué)習(xí)器的損失函數(shù)在測試階段收斂時，得到訓(xùn)練好的文本分類模型。

2.根據(jù)權(quán)利要求1所述的文本分類模型的元學(xué)習(xí)方法，其特征在于，所述將所述文本分類模型學(xué)習(xí)器作為待訓(xùn)練的文本分類模型，通過所述元測試集對所述文本分類模型學(xué)習(xí)器進(jìn)行測試訓(xùn)練的步驟包括：

從所述元測試集中抽取屬于同一類別的查詢測試樣本和支撐測試樣本；

通過所述文本分類模型學(xué)習(xí)器的向量提取模塊對所述查詢測試樣本進(jìn)行向量提取，得到查詢測試樣本向量；

通過所述文本分類模型學(xué)習(xí)器的向量提取模塊對所述支撐測試樣本進(jìn)行向量提取，得到支撐測試樣本向量；

將所述支撐測試樣本向量輸入至所述文本分類模型學(xué)習(xí)器的膠囊網(wǎng)絡(luò)，得到所述支撐測試樣本所屬類別的類別向量；

將所述查詢測試樣本向量與所述支撐測試樣本所屬類別的類別向量進(jìn)行匹配，根據(jù)屬于同一類別的樣本匹配的概率調(diào)整所述文本分類模型學(xué)習(xí)器的向量提取模塊和所述膠囊網(wǎng)絡(luò)的參數(shù)；

當(dāng)所述文本分類模型學(xué)習(xí)器的損失函數(shù)沒有收斂時，循環(huán)所述從所述元測試集中抽取屬于同一類別的查詢測試樣本和支撐測試樣本至所述根據(jù)屬于同一類別的樣本匹配的概率調(diào)整所述文本分類模型學(xué)習(xí)器的向量提取模塊和所述膠囊網(wǎng)絡(luò)的參數(shù)的步驟，直到所述文本分類模型學(xué)習(xí)器的損失函數(shù)在測試階段收斂時，得到訓(xùn)練好的所述文本分類模型。

3.根據(jù)權(quán)利要求1所述的文本分類模型的元學(xué)習(xí)方法，其特征在于，所述通過所述元訓(xùn)練集對文本分類模型進(jìn)行元訓(xùn)練，得到文本分類模型學(xué)習(xí)器的步驟包括：

從所述元訓(xùn)練集中抽取屬于同一類別的查詢訓(xùn)練樣本和支撐訓(xùn)練樣本；

通過所述文本分類模型的向量提取模塊對所述查詢訓(xùn)練樣本進(jìn)行向量提取，得到第一樣本向量；

通過所述文本分類模型的向量提取模塊對所述支撐訓(xùn)練樣本進(jìn)行向量提取，得到第二樣本向量；

將所述第二樣本向量輸入至所述文本分類模型的膠囊網(wǎng)絡(luò)，得到所述支撐訓(xùn)練樣本所屬類別的類別向量；

將所述第一樣本向量與所述支撐訓(xùn)練樣本所屬類別的類別向量進(jìn)行匹配，根據(jù)匹配的概率調(diào)整所述文本分類模型的向量提取模塊和所述膠囊網(wǎng)絡(luò)的參數(shù)；

當(dāng)所述文本分類模型的損失函數(shù)沒有收斂時，循環(huán)所述從所述元訓(xùn)練集中抽取存在屬于同一類別的查詢訓(xùn)練樣本和支撐訓(xùn)練樣本至所述根據(jù)匹配的概率調(diào)整所述文本分類模型的向量提取模塊和所述膠囊網(wǎng)絡(luò)的參數(shù)的步驟，直到所述文本分類模型的損失函數(shù)在訓(xùn)練階段收斂時，得到所述文本分類模型學(xué)習(xí)器。

4.根據(jù)權(quán)利要求3所述的文本分類模型的元學(xué)習(xí)方法，其特征在于，通過以下公式計算所述第一樣本向量與所述支撐訓(xùn)練樣本所屬類別的類別向量的匹配概率：

其中，表示支撐訓(xùn)練樣本q的第一樣本向量e^q與類別i_k的類別向量之間的余弦距離，已知支撐訓(xùn)練樣本q的實際類別為i_k，表示支撐訓(xùn)練樣本q的第一樣本向量e^q與類別i_j的類別向量之間的余弦距離。

5.根據(jù)權(quán)利要求3所述的文本分類模型的元學(xué)習(xí)方法，其特征在于，所述文本分類模型的損失函數(shù)表示為：

其中，S表示支撐訓(xùn)練樣本，Q表示查詢訓(xùn)練樣本，C表示支撐訓(xùn)練樣本S的類別總數(shù)，n表示查詢訓(xùn)練樣本Q的總數(shù)，r_iq表示所述匹配概率，y_q表示樣本q的實際類別。