[發(fā)明專利]膠囊網(wǎng)絡的訓練方法、分類方法、系統(tǒng)、設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910179497.0
• 申請日: 2019-03-11
• 公開（公告）號: CN110046249A
• 公開（公告）日: 2019-07-23
• 發(fā)明（設計）人: 楊敏;曲強;陳磊
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04
• 代理公司: 深圳青年人專利商標代理有限公司 44350
• 代理人: 黃桂仕

本發(fā)明適用于計算機技術領域，提供了一種膠囊網(wǎng)絡的訓練方法、分類方法、系統(tǒng)、設備及存儲介質(zhì)，該方法中，由卷積層、初級膠囊層、聚合膠囊層及類別膠囊層構建膠囊網(wǎng)絡，在聚合膠囊層中，利用仿射變換得到中間向量，利用路由處理得到次級向量，在次級向量與各中間向量之間平均距離最短的條件下，基于自適應核密度估計的迭代路由機制，動態(tài)更新路由處理所對應的路由參數(shù)。這樣，可利用自適應核密度估計的迭代路由機制，提供顯式迭代目標函數(shù)，并且迭代次數(shù)靈活確定，從而使得膠囊網(wǎng)絡訓練效果以及多標簽文本分類效果更佳。

技術領域

本發(fā)明屬于計算機技術領域，尤其涉及一種膠囊網(wǎng)絡的訓練方法、分類方法、系統(tǒng)、設備及存儲介質(zhì)。

背景技術

多標簽文本分類任務是指：將每個待處理文本分類到不同標簽的子集中。目前，現(xiàn)有技術中可利用基于樹的模型、標簽嵌入方法等傳統(tǒng)的機器學習算法，也可以利用卷積神經(jīng)網(wǎng)絡或膠囊網(wǎng)絡來實現(xiàn)多標簽文本的分類。

現(xiàn)有利用膠囊網(wǎng)絡實現(xiàn)多標簽文本的分類，主要是膠囊網(wǎng)絡先對文本進行特征提取得到特征標量并構建特征標量組，再將特征標量組轉換為初始向量，然后將初始向量經(jīng)過仿射變換得到中間向量、將中間向量經(jīng)路由處理得到次級向量，最后根據(jù)次級向量得到文本分類結果，其中，采用動態(tài)路由機制進行路由參數(shù)的更新。但是，動態(tài)路由機制中，通常是利用次級向量與中間向量的一致性標量積a來更新初始邏輯b，即b←b+a，而初始邏輯b的更新會導致路由參數(shù)C的更新，即其中，k為路由參數(shù)的固定更新迭代次數(shù)，例如：3次或5次。

由于該動態(tài)路由機制中并不提供顯式迭代目標函數(shù)，且路由參數(shù)的更新迭代次數(shù)為預先設置的固定值，導致路由參數(shù)的更新極不靈活，且路由參數(shù)的更新效果無法達到期望，進一步對膠囊網(wǎng)絡的訓練效果以及利用該膠囊網(wǎng)絡所進行的多標簽文本分類效果產(chǎn)生不利影響。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種膠囊網(wǎng)絡的訓練方法、分類方法、系統(tǒng)、設備及存儲介質(zhì)，旨在解決現(xiàn)有技術所存在的、因動態(tài)路由機制中不提供迭代目標函數(shù)且迭代次數(shù)固定而導致的膠囊網(wǎng)絡訓練效果以及多標簽文本分類效果不佳的問題。

一方面，本發(fā)明提供了一種膠囊網(wǎng)絡的訓練方法，所述膠囊網(wǎng)絡包括：用于對訓練樣本文本進行特征提取得到特征標量并構建特征標量組的卷積層，用于將所述特征標量組轉換為初始向量的初級膠囊層，用于將所述初始向量經(jīng)過仿射變換得到中間向量、將所述中間向量經(jīng)路由處理得到次級向量的聚合膠囊層，以及，用于根據(jù)所述次級向量得到訓練樣本文本分類結果的類別膠囊層，其中，初始向量的方向表示所述訓練樣本文本的語義特征，所述訓練方法包括：

在所述次級向量與各所述中間向量之間平均距離最短的條件下，基于自適應核密度估計的迭代路由機制，動態(tài)更新所述路由處理所對應的路由參數(shù)。

進一步的，所述訓練方法還包括：

將各所述初始向量進行壓縮處理，得到緊湊向量；

將所述緊湊向量經(jīng)過所述仿射變換，得到所述中間向量。

進一步的，將各所述初始向量進行壓縮處理，得到緊湊向量，具體為：

對各所述初始向量進行去噪處理，和/或，將相似的所述初始向量進行合并處理，得到所述緊湊向量。

進一步的，所述訓練方法還包括：

在分類損失最小的條件下，迭代更新所述仿射變換處理所對應的變換參數(shù)以及所述膠囊網(wǎng)絡處理所對應的卷積參數(shù)。

另一方面，本發(fā)明提供了一種多標簽文本的分類方法，所述分類方法包括：

獲得待處理文本；

基于如上述的訓練方法所得膠囊網(wǎng)絡，對所述待處理文本進行處理，得到待處理文本分類結果。

進一步的，所述分類方法基于一原始分類標簽集合，所述分類方法還包括：