[發明專利]一種用于半監督學習的神經網絡模型以及半監督學習方法

在審

• 申請號: 202110374736.5
• 申請日: 2021-04-08
• 公開（公告）號: CN113128669A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 谷洋;張胡喆晨;陳益強;王記偉;王永斌;張忠平;肖益珊
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種用于半監督學習的神經網絡模型，包括：

輸入層，用于接收輸入數據；

第一隱藏層，用于提取所述輸入數據的低層語義信息；

語義層，用于基于所述低層語義信息確定所述輸入數據的低層語義標簽；

第二隱藏層，用于基于所述輸入數據及其低層語義標簽提取所述輸入數據的高層語義信息；以及

輸出層，用于基于所述輸入數據的高層語義信息確定其高層語義標簽，并作為最終標簽輸出。

2.根據權利要求1所述的神經網絡模型，其中，所述語義層和所述輸出層采用softmax激活函數，所述第一隱藏層和所述第二隱藏層采用sigmoid激活函數。

3.一種半監督學習方法，包括：

利用有標簽數據對權利要求1所述的神經網絡模型進行初始訓練；

獲得所述待標定的無標簽數據的增強數據；

利用初始訓練好的所述神經網絡模型標定所述待標定的無標簽數據及其增強數據的偽標簽；

利用有標簽數據以及待標定的偽標簽數據重新訓練所述神經網絡模型。

4.根據權利要求3所述的學習方法，還包括：

計算所述待標定的無標簽數據及其增強數據的偽標簽的置信度；以及

篩選置信度高于指定閾值的待標定的偽標簽數據重新訓練所述神經網絡模型。

5.根據權利要求3所述的學習方法，其中，通過在所述待標定的無標簽數據中加入高斯隨機噪聲獲得所述待標定的無標簽數據的增強數據。

6.一種基于半監督學習標定無標簽數據的方法，包括：

獲取有標簽數據和待標定的無標簽數據；

通過權利要求3所述的方法訓練權利要求1所述的神經網絡模型；以及

利用訓練好的神經網絡模型標定所述待標定的無標簽數據。

7.一種基于半監督學習標定無標簽數據的系統，包括：

接口模塊，用于獲取有標簽書和待標定的無標簽數據；

訓練模塊，用于利用權利要求3所述的方法訓練神經網絡模型；以及

預測模塊，用于利用訓練好的所述神經網絡模型標定所述待標定的無標簽數據。

8.一種存儲介質，其中存儲有計算機程序，在所述計算機程序被處理器執行時，能夠用于實現權利要求1-7中任一項所述的方法。

9.一種電子設備，包括處理器和存儲器，所述存儲器中存儲有計算機程序，在所述計算機程序被處理器執行時，能夠用于實現權利要求1-7中任一項所述的方法。