[發明專利]一種基于一維周期信號進行分類的遷移學習方法

在審

• 申請號: 202210804997.0
• 申請日: 2022-07-08
• 公開（公告）號: CN115099279A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 藺思宇;李昊庭;韓銀和;宋佳;馬君
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明提供了一種基于一維周期信號進行分類的遷移學習方法，包括：S1、采用編碼神經網絡提取源域數據集和目標域數據集中的每個樣本的特征向量，利用源域和目標域中設有標簽的樣本的特征向量以及標簽訓練分類器以識別設備的狀態類別，訓練時根據分類損失更新分類器的參數；S2、將目標域中沒有標簽的每個樣本的特征向量輸入經步驟S1訓練的分類器以輸出樣本對應的狀態類別，并將其作為對應樣本的偽標簽；S3、根據源域數據集中樣本的特征向量、標簽以及目標域數據集中樣本的特征向量、標簽和偽標簽確定源域和目標域之間包含邊緣分布差異和條件分布差異的第一聯合分布損失，并根據第一聯合分布損失更新編碼神經網絡的參數。

技術領域

本發明涉及神經網絡領域，具體來說涉及遷移學習領域，更具體地說，涉及一種基于一維周期信號進行分類的遷移學習方法。

背景技術

在工業上，各種設備在運行過程中的不同狀態(比如：正常狀態和各種故障狀態)會產生不同的表現，從設備自身設置的傳感器或者利用設備上布置的傳感器可以采集設備的一維周期信號，設備不同的狀態下會采集到不同的一維周期信號，該一維周期信號是指由傳感器采集到的隨時間變化有周期性變化的向量數據。通過為采集的一維周期信號標注指示設備的狀態類別的標簽的方式，制作數據集，并用于訓練分類模型，訓練好的分類模型可以用于監控設備的狀態，以便設備的使用者能夠很方便地掌握設備的狀態。

工業上的設備存在不同的類型或者型號，因為設備的設計、參數、材料、結構等的不同，從不同設備采集的一維周期信號在分布上往往存在差異，在基于標注好的數據集對用于針對某個設備進行監控的分類模型進行訓練后，該訓練好的模型不能直接應用于對其他設備的監控。但是，如果針對每個設備都分別制作帶有大量標注的樣本的數據集，這將耗費大量的人力和時間成本。因此，可以采用遷移學習技術來降低人力和時間成本。

現有的針對一維周期信號的遷移學習的技術主要包括以下兩種：

第一種技術：對源域及目標域的一維周期信號集進行統一的特征提取方法，手段不限于物理量及深度學習等方法，然后利用模型訓練縮短兩個特征集之間的分布差異，實現遷移的目的；其相關的技術例如參見公開號為CN113869563A的中國專利申請。該申請中，在遷移方面利用的是分類神經網絡最后全連接層輸出的特征進行遷移，這種遷移方式雖然實現了遷移的目的，但是沒能實現目標域原始信號分布的豐富，物理意義也在特征提取的過程中被消除掉，導致可解釋性下降。而且其在評價遷移效果時僅使用了特征之間的均方根誤差，雖然在無量綱歸一化的特征上數值差異小可以近似于分布差異小，但是在其他場景下并不能夠近似，存在泛化性較差，在其他信號場景下缺乏說服力的問題。

第二種技術：用源域的大量數據進行單一模型的預訓練，在源域數據上取得好的效果，然后用少量的目標域數據對預訓練模型進行微調(Finetune)，以實現遷移的目的。換言之，第二種技術使用的遷移方法為在源域上訓練一個預訓練預測模型，之后使用預訓練預測模型的參數在目標域上進行基于小樣本訓練的微調。如果源域與目標域的條件分布和邊緣分布均存在差異時，該技術難以達良好的遷移效果，同樣存在泛化性較差，在其他信號場景下缺乏說服力的問題。

總的來說，在基于一維周期信號對設備的狀態進行檢測時，存在以下問題：

1.現有技術如果想要使用預訓練預測模型實現遷移學習，其神經網絡必須先經過源域數據訓練形成網絡參數，然后通過用目標域小樣本數據二次訓練神經網絡的部分層來改變部分參數，最終實現遷移目的。但這樣的方式有個問題：目標域小樣本不能覆蓋源域大樣本的訓練參數，因為這樣會失去預訓練的作用。這就使遷移的效果極大依賴于源域與目標域的分布相似性，如果兩者的條件分布和邊緣分布均差距較大，這樣的遷移方法可以說是幾乎無效的。