[發明專利]一種用于半監督學習的神經網絡模型以及半監督學習方法

在審

• 申請號: 202110374736.5
• 申請日: 2021-04-08
• 公開（公告）號: CN113128669A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 谷洋;張胡喆晨;陳益強;王記偉;王永斌;張忠平;肖益珊
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明提供了一種半監督學習方法，該方法包括：利用有標簽數據對神經網絡模型進行初始訓練；獲得待標定的無標簽數據的增強數據；利用初始訓練好的神經網絡模型標定待標定的無標簽數據及其增強數據的偽標簽；利用有標簽數據以及待標定的偽標簽數據重新訓練神經網絡模型；其中，用于半監督學習的神經網絡模型包括：輸入層，用于接收輸入數據；第一隱藏層，用于提取輸入數據的低層語義信息；語義層，用于基于低層語義信息確定輸入數據的低層語義標簽；第二隱藏層，用于基于輸入數據及其低層語義標簽提取輸入數據的高層語義信息；以及輸出層，用于基于輸入數據的高層語義信息確定其高層語義標簽，并作為最終標簽輸出。

技術領域

本發明涉及人工智能及深度學習領域，尤其涉及用于半監督學習的神經網絡模型以及半監督學習方法。

背景技術

隨著可穿戴智能設備的廣泛應用，對用戶健康狀況的監測更加方便快捷。通過運動傳感器、生理傳感器、位置傳感器等感知裝置可以準確獲得與人體有關的各種感知數據。這些感知數據能夠有效反映人們的例如物理行為、生理狀態、睡眠、情緒等外在特征，也與其健康狀況緊密相關。然而，現有的用于識別用戶感知數據的神經網絡模型往往需要大量的標定數據來進行監督學習，且模型的精度和可解釋性均欠佳。

因此，亟需一種更高精度的用于半監督學習的神經網絡模型以及相應的半監督學習方法。

發明內容

因此，本發明實施例的目的在于克服上述現有技術的缺陷，提供一種用于半監督學習的神經網絡模型，包括：輸入層，用于接收輸入數據；第一隱藏層，用于提取所述輸入數據的低層語義信息；語義層，用于基于所述低層語義信息確定所述輸入數據的低層語義標簽；第二隱藏層，用于基于所述輸入數據及其低層語義標簽提取所述輸入數據的高層語義信息；以及輸出層，用于基于所述輸入數據的高層語義信息確定其高層語義標簽，并作為最終標簽輸出。

在一個實施例中，所述語義層和所述輸出層采用softmax激活函數，所述第一隱藏層和所述第二隱藏層采用sigmoid激活函數。

本發明另一方面提供了一種半監督學習方法，包括：利用有標簽數據對權利要求1所述的神經網絡模型進行初始訓練；獲得所述待標定的無標簽數據的增強數據；利用初始訓練好的所述神經網絡模型標定所述待標定的無標簽數據及其增強數據的偽標簽；利用有標簽數據以及待標定的偽標簽數據重新訓練所述神經網絡模型。

在一個實施例中，上述方法還包括：計算所述待標定的無標簽數據及其增強數據的偽標簽的置信度；以及篩選置信度高于指定閾值的待標定的偽標簽數據重新訓練所述神經網絡模型。

在一個實施例中，通過在所述待標定的無標簽數據中加入高斯隨機噪聲獲得所述待標定的無標簽數據的增強數據

本發明另一方面提供了一種基于半監督學習標定無標簽數據的方法，包括：獲取有標簽數據和待標定的無標簽數據；通過上述學習方法訓練權神經網絡模型；以及利用訓練好的神經網絡模型標定所述待標定的無標簽數據。

本發明另一方面提供了一種基于半監督學習標定無標簽數據的系統，包括：接口模塊，用于獲取有標簽書和待標定的無標簽數據；訓練模塊，用于利用上述學習方法訓練神經網絡模型；以及預測模塊，用于利用訓練好的所述神經網絡模型標定所述待標定的無標簽數據。

本發明另一方面提供了一種存儲介質，其中存儲有計算機程序，在所述計算機程序被處理器執行時，能夠用于實現上述任一項所述的方法。

本發明另一方面提供了一種電子設備，包括處理器和存儲器，所述存儲器中存儲有計算機程序，在所述計算機程序被處理器執行時，能夠用于實現上述任一項所述的方法。

本發明實施例的技術方案包括以下有益效果：