[發明專利]基于少量標注樣本的增量學習方法及系統

在審

• 申請號: 202010840523.2
• 申請日: 2020-08-20
• 公開（公告）號: CN112132179A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 盧記倉;周剛;蘭明敬;張偉;陳靜;吳建萍
• 申請（專利權）人: 中國人民解放軍戰略支援部隊信息工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 鄭州大通專利商標代理有限公司 41111
• 代理人: 周艷巧

1.一種基于少量標注樣本的增量學習方法，其特征在于，包含如下內容：

收集樣本數據，包含：少量已標注樣本和大量未標注樣本；

對少量已標注樣本進行擴充增強，獲得可靠標簽數據集，利用該可靠標簽數據集對網絡進行學習獲得預訓練模型，調整模型收斂參數和配置；基于學習后的網絡預訓練模型，對大量未標注樣本進行預測分類，依據分類結果構建增量學習候選數據集；

將可靠標簽數據集和增量學習候選數據集組合得到增量學習數據集；利用該增量學習數據集對網絡預訓練模型進行增量學習，并利用可靠標簽數據集對增量學習所得模型進行校準學習；

利用校準學習后的預訓練模型對未標注數據進行預測分類，通過設置是否達到預設期望的循環迭代條件來判定是否返回重新執行構建增量學習候選數據集及增量學習和校準學習步驟內容。

2.根據權利要求1所述的基于少量標注樣本的增量學習方法，其特征在于，針對少量已標注樣本，依據樣本數據的類型及分布特性，利用數據增強方法對其進行擴充增強來獲取可靠標簽數據集。

3.根據權利要求1所述的基于少量標注樣本的增量學習方法，其特征在于，基于學習后的網絡預訓練模型，對大量未標注樣本進行預測分類識別，得到各樣本分別屬于各類別的得分值，將得分值大于預設選擇閾值的樣本作為增量學習候選數據，并以得分值確定的類別對樣本添加臨時標簽，構建增量學習候選數據集。

4.根據權利要求1所述的基于少量標注樣本的增量學習方法，其特征在于，按照模型收斂參數和配置，利用增量學習數據集對網絡預訓練模型進行增量學習，以通過模型訓練得到擴展預訓練模型。

5.根據權利要求4所述的基于少量標注樣本的增量學習方法，其特征在于，針對擴展預訓練模型，利用可靠標簽數據集進行校準學習，以通過模型訓練消除增量學習中引入的噪聲。

6.根據權利要求1所述的基于少量標注樣本的增量學習方法，其特征在于，預設期望的循環迭代條件為預先設置的循環迭代次數。

7.一種基于少量標注樣本的增量學習系統，其特征在于，包含：收集模塊，擴充模塊，增量校準模塊和循環迭代模塊，其中，

收集模塊，用于收集樣本數據，包含：少量已標注樣本和大量未標注樣本；

擴充模塊，用于對少量已標注樣本進行擴充增強，獲得可靠標簽數據集，利用該可靠標簽數據集對網絡進行學習獲得預訓練模型，調整模型收斂參數和配置；基于學習后的網絡預訓練模型，對大量未標注樣本進行預測分類，依據分類結果構建增量學習候選數據集；

增量校準模塊，用于將可靠標簽數據集和增量學習候選數據集組合得到增量學習數據集；利用該增量學習數據集對網絡預訓練模型進行增量學習，并利用可靠標簽數據集對增量學習所得模型進行校準學習；

循環迭代模塊，用于利用校準學習后的所得模型對未標注數據進行預測分類，通過設置是否達到預設期望的循環迭代條件來判定是否返回重新執行構建增量學習候選數據集及增量學習和校準學習步驟內容。

8.一種用于視覺類數據分類識別方法，其特征在于，包含如下內容：

分析視覺類數據的圖像通道數量、尺寸及類別數量信息，選取用于圖像類數據分析的卷積神經網絡深度學習模型作為網絡預訓練模型；

并采用權利要求1～6任一項所述的基于少量標注樣本的增量學習方法，在少量標注樣本情況下基于網絡預訓練模型及迭代增量學習和校準學習對大量未標注樣本數據進行分類識別。

9.一種用于自然語言數據分析處理方法，其特征在于，包含如下內容：

分析文本數據長度、領域、向量表示及分析任務，選取用于文本類數據分析的深度學習網絡模型；并采用權利要求1～6任一項所述的基于少量標注樣本的增量學習方法，在少量標注樣本情況下基于網絡預訓練模型及迭代增量學習和校準學習對大量未標注樣本數據進行分類識別。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被計算機運行時執行權利要求1～6任一項所述的增量學習方法。