[發(fā)明專利]基于多任務學習的數(shù)據(jù)集選取方法及裝置

有效

• 申請?zhí)枺?/td>: 201911135022.8
• 申請日: 2019-11-19
• 公開（公告）號: CN111062484B
• 公開（公告）日: 2023-06-09
• 發(fā)明（設計）人: 李健銓;劉小康
• 申請（專利權）人: 鼎富智能科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京弘權知識產(chǎn)權代理有限公司 11363
• 代理人: 逯長明;許偉群

1.一種基于多任務學習的數(shù)據(jù)集選取方法，其特征在于，包括：

獲取主任務與待選取任務的任務數(shù)據(jù)；

將所述主任務和待選取任務的任務數(shù)據(jù)輸入判斷模型，所述判斷模型為根據(jù)所述主任務和/或待選取任務的樣本數(shù)據(jù)訓練得到的模型，包括私有層和共享層，所述私有層和共享層為兩個結構相同的雙向LSTM；

獲取所述判斷模型私有層輸出的特征矩陣，所述特征矩陣包括所述待選取任務的特征矩陣和所述主任務的特征矩陣；

對待選取任務的特征矩陣與主任務的特征矩陣進行正交計算，生成相關性判斷值；

確定所述相關性判斷值高于預設閾值的所述待選取任務作為相關任務，選取所述相關任務的任務數(shù)據(jù)作為所述主任務的擴展數(shù)據(jù)集。

2.根據(jù)權利要求1所述的數(shù)據(jù)集選取方法，其特征在于，獲取主任務與待選取任務的任務數(shù)據(jù)的步驟前，所述方法還包括：

獲取主任務與待選取任務的樣本數(shù)據(jù)；

將所述樣本數(shù)據(jù)輸入所述判斷模型的私有層和共享層，分別獲得私有層和共享層的輸出矩陣；

根據(jù)所述私有層和共享層的輸出矩陣，生成共享特征和私有特征間的正交約束L_diff；

根據(jù)所述正交約束L_diff更新所述私有層和共享層的參數(shù)，以優(yōu)化所述私有層和共享層。

3.根據(jù)權利要求2所述的數(shù)據(jù)集選取方法，其特征在于，將所述樣本數(shù)據(jù)輸入所述判斷模型的私有層和共享層，分別獲得私有層和共享層的輸出矩陣的步驟后，所述方法還包括：

根據(jù)所述主任務和待選取任務在所述共享層的輸出矩陣，生成對抗損失L_adv；

根據(jù)所述對抗損失L_adv更新所述共享層的參數(shù)。

4.根據(jù)權利要求3所述的數(shù)據(jù)集選取方法，其特征在于，根據(jù)所述對抗損失L_adv更新所述共享層的參數(shù)的步驟后，所述方法還包括：

將所述正交約束L_diff和所述對抗損失L_adv加入所述判斷模型的損失函數(shù)L；

根據(jù)所述損失函數(shù)L更新所述判斷模型中所述私有層和共享層的參數(shù)，以訓練所述判斷模型。

5.根據(jù)權利要求4所述的數(shù)據(jù)集選取方法，其特征在于，將所述正交約束L_diff和所述對抗損失L_adv加入所述判斷模型的損失函數(shù)L的步驟中，損失函數(shù)L滿足以下關系：

L＝L_task+αL_adv+βL_diff；

式中，L_task為原始損失函數(shù)；L_adv為對抗損失；L_diff為正交約束；α、β為預設超參數(shù)。

6.根據(jù)權利要求1所述的數(shù)據(jù)集選取方法，其特征在于，所述方法中包括多個待選取任務，對待選取任務的特征矩陣與主任務的特征矩陣進行正交計算，生成相關性判斷值的步驟，包括：

逐一獲取每個所述待選取任務對應所述判斷模型私有層的特征矩陣；

根據(jù)所述主任務的特征矩陣，依次與每個所述待選取任務的特征矩陣進行正交計算，生成多個所述待選取任務對應的相關性判斷值。

7.根據(jù)權利要求6所述的數(shù)據(jù)集選取方法，其特征在于，生成多個所述待選取任務對應的相關性判斷值的步驟后，所述方法還包括：

對比所述相關性判斷值與所述預設閾值，確定有效判斷值；所述有效判斷值為高于所述預設閾值的所述相關性判斷值；

按照從大到小的順序排列有效判斷值以及對應的待選取任務，生成相關任務序列。

8.根據(jù)權利要求7所述的數(shù)據(jù)集選取方法，其特征在于，生成相關任務序列的步驟后，所述方法還包括：

確定所述相關任務序列中，所述相關性判斷值最高的待選取任務為相關任務。