[發明專利]模型的遷移學習方法、裝置、電子設備及計算機可讀介質

在審

• 申請號: 202010618460.6
• 申請日: 2020-06-30
• 公開（公告）號: CN111667025A
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 丁茹
• 申請（專利權）人: 北京同邦卓益科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 孫寶海;袁禮君

1.一種模型的遷移學習方法，其特征在于，包括：

獲取樣本集合和源任務，所述樣本集合中每個樣本包括多個特征，每個所述特征包括特征類別，所述源任務包括初始特征類別；

以所述樣本集合為訓練樣本，根據所述初始特征類別確定源任務模型；

獲取目標任務與所述目標任務的分類標簽；

以所述樣本集合為訓練樣本，根據所述分類標簽對所述源任務模型進行有監督訓練，獲得所述目標任務的目標任務模型。

2.如權利要求1所述的方法，其特征在于，所述源任務模型包括第一特征編碼器；其中，以所述樣本集合為訓練樣本，根據所述初始特征類別確定源任務模型包括：

獲取第一編碼器；

通過所述樣本集合中具有初始特征類別的特征對所述第一編碼器進行訓練，將訓練完成的所述第一編碼器確定為所述第一特征編碼器。

3.如權利要求2所述的方法，其特征在于，所述初始特征類別包括第一特征類別和第二特征類別，所述源任務模型還包括第二特征編碼器；其中，以所述樣本集合為訓練樣本，根據所述初始特征類別確定源任務模型還包括：

通過所述第一特征編碼器對所述樣本集合中具有第一特征類別的所述特征進行處理，將所述第一特征編碼器的輸出確定為第一編碼特征；

將所述第一編碼特征與所述樣本集合中具有第二特征類別的所述特征進行拼接，獲得第一拼接特征；

獲取第二編碼器；

通過所述第一拼接特征對所述第二編碼器進行訓練，將訓練完成的所述第二編碼器確定為所述第二特征編碼器；

將所述第一特征編碼器和所述第二特征編碼器確定為所述源任務模型。

4.如權利要求2所述的方法，其特征在于，通過所述樣本集合中具有初始特征類別的特征對所述第一編碼器進行訓練包括：

通過所述樣本集合中具有初始特征類別的特征對所述第一編碼器的每個編碼層分別進行編碼器和解碼器的訓練獲得編碼層；

將訓練完成的所述編碼層進行組合，獲得所述第一特征編碼器。

5.如權利要求1所述的方法，其特征在于，根據所述目標任務標簽調整所述源任務模型，獲得目標任務的目標任務模型包括：

將所述源任務模型的前m層結構確定為遷移結構，m為大于0的整數；

根據所述遷移結構的輸出維度和所述分類標簽的維度構建目標輸出結構；

根據所述遷移結構和所述目標輸出結構確定所述目標任務模型；

根據所述分類標簽對所述目標任務模型進行微調，獲得訓練完成的所述目標任務模型。

6.如權利要求1所述的方法，其特征在于，所述目標任務還包括目標特征類別；其中，根據所述分類標簽調整所述源任務模型，獲得目標任務模型包括：

若所述目標特征類別具有所述初始特征類別沒有包括的特征類別時，則將所述目標特征類別中所述初始特征類別沒有包括的特征類別確定為更新特征類別；

若所述更新特征類別的特征的數量大于或等于特征數量閾值，則根據所述更新特征類別確定目標編碼器；

根據所述分類標簽的維度構建目標輸出結構；

根據所述目標編碼器和所述目標輸出結構確定所述目標任務模型；

根據所述目標特征類別的特征和所述分類標簽對所述目標任務模型進行微調，獲得訓練完成的所述目標任務模型。

7.如權利要求6所述的方法，其特征在于，根據所述更新特征類別確定目標編碼器包括：

將所述更新特征類別的特征和所述源任務模型的前m層結構的輸出進行拼接，獲得第二拼接特征，m為大于0的整數；

獲取第三編碼器；

通過所述第二拼接特征調整所述第三編碼器的參數，將所述源任務模型的前m層結構和訓練完成的所述第三編碼器確定為所述目標編碼器。