[發明專利]一種基于RNN的多任務學習方法

在審

• 申請號: 201810112482.8
• 申請日: 2018-02-05
• 公開（公告）號: CN108197701A
• 公開（公告）日: 2018-06-22
• 發明（設計）人: 王磊;翟榮安;王純配;顧倉;王毓;劉晶晶;王飛;于振中;李文興
• 申請（專利權）人: 哈工大機器人（合肥）國際創新研究院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京華際知識產權代理有限公司 11676
• 代理人: 陳曉蕾

本發明提供了一種基于RNN的多任務學習方法，所述方法包括以下步驟：步驟S1：初始化系統參數θ＝(W,U,B,V)；步驟S2：輸入樣例x_1,i,…,x_R,i，學習公有信息X^co,將公有信息補償到單個任務的訓練中；步驟S3：計算每個神經網絡的預測標簽向量輸出計算任務r的損失L_r,i；步驟S4：根據梯度下降法和BPTT算法求解θ＝(W,U,B,V)的梯度，確定任務r關于公有信息X^co的梯度；步驟S5：確定學習率η，更新各權值梯度W＝W?η·δ_W；步驟S6：判斷神經網絡是否達到穩定，如果是執行步驟S7；如果否，返回步驟S2，迭代更新模型參數；步驟S7：輸出優化模型。本發明能有效利用RNN學習多任務之間的公有特征，并把公有特征輸入到單個任務的學習中，實現信息共享。并通過在RNN中引用GRU結構，能有效地解決梯度消失問題。

技術領域

本發明涉及神經網絡多任務學習領域，尤其涉及一種基于RNN的多任務學習方法。

背景技術

在現實應用中，不同的任務之間可以以不同的方式聯系在一起。而且多任務的學習比單個任務學習更有優勢。比如，當每個任務我們只有小部分可利用的數據，這時多任務學習就可以把多個相關任務的數據集合在一起學習。任務之間也有可能是因為存在某種潛在的共同表示而聯系在一起。例如，在目標識別中，人類視覺系統形成的前幾步都是通過學習一個共同的特征集合來表示所有目標。先前關于多任務學習的方法大多是把任務之間的關系通過一種功能性的概念聯系在一起。

對于序列數據的建模，基于神經網絡(Neural Network)的模型已經在廣播演講識別、語言模型以及錄像分類問題上取得了優異的成績。這些模型大部分屬于兩類神經網絡，前饋神經網絡(Feedforward Neural Network)和遞歸神經網絡(Recurrent NeuralNetwork)。傳統的RNN結構理論上可以學習無限長的序列信息。但是，實踐證明，時間間隔越大RNN的這種學習能力就會越弱。并且這種循環結構很難訓練，因為它很容易出現梯度消失和梯度爆炸。為了解決梯度消失問題，許多結構已經被提出來。其中包括長短時記憶單元(LSTM)遞歸神經網絡。但是LSTM網絡結構較復雜，這將會耗費更多的訓練時間，而且容易在反向傳播過程中出現梯度消失。為了解決這一問題，一種具有更簡單結構的GRU結構被提出，這種結構相比LSTM更容易實現，訓練也更簡單。它的結構如圖1所示。

現有的先前關于多任務學習的方法大多是把任務之間的關系通過一種功能性的概念聯系在一起。例如，Baxter通過一個單一的模型選擇標準來確定它們之間的相關性，即多任務之間存在一組最優的假設類。現有的多任務學習方法大多結構較為復雜，比如LSTM模型，而且容易在反向傳播過程中出現梯度消失，基于此，本發明提供了一種基于RNN的多任務學習方法，該RNN具有GRU結構，能有效防止梯度消失問題，且相比LSTM結構更簡單，使得得到的特征更精確。

發明內容

針對現有技術的缺陷，本發明提供一種基于RNN的多任務學習方法，根據RNN具有學習上下文信息的特點、以及多任務學習時公有信息的參與能提高單個任務的學習能力的特性，利用RNN模型學習任務之間的公有特征，并將其作為輸入補償輸入到單個任務的學習中，最后通過一個前饋補償層(Feed Forward Layer,FF)學習單個任務，使得具有GRU結構的RNN能有效防止梯度消失問題，且相比LSTM結構更簡單，得到的特征更精確。

為實現上述目的，本發明提供了一種基于RNN的多任務學習方法，所述方法包括以下步驟：

步驟S1：初始化系統參數θ＝(W,U,B,V)，其中，W表示神經網絡層與層之間連接的權值矩陣；U表示數據在輸入神經網絡時的權值矩陣；B表示神經網絡層與層之間的偏置矩陣；V表示神經網絡隱藏層到softmax層的權值矩陣；