[發明專利]一種應用遷移學習可行性度量方法及裝置

在審

• 申請號: 201710660607.6
• 申請日: 2017-08-04
• 公開（公告）號: CN107392321A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 謝忠玉;鮑新平
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06N99/00
• 分類號: G06N99/00;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 王寶筠

技術領域

本申請涉及數據處理技術領域，特別涉及一種應用遷移學習可行性度量方法及裝置。

背景技術

隨著數據和計算能力的快速發展，機器學習有了非常廣泛的應用，而傳統機器學習在大放異彩的同時，也暴露出其需要嚴格的前提假設的問題，例如訓練數據與測試數據必須服從獨立同分布對其應用的極大限制。因此，在這種應用場景下，人們開始將目標投向遷移學習。而在遷移學習之前，首先需要對需要遷移學習的兩個數據集之間的差異進行評估，對于兩個數據集是否適合適用遷移學習進行評估，避免在多次嘗試遷移學習之后由于數據集本身不適合遷移學習而功虧一簣，造成資源浪費。

目前，在衡量兩個數據領域即數據集之間的差異時，主要通過以下方案實現：選擇一個輔助域數據集并選擇分類特征，對兩個域的樣本數據的特征分布進行統計，再計算兩個域分布的差異。

但這種方案中需要首先統計出兩個域的分布，然后計算分布差異，而計算出來的分布差異數值對于兩個域之間的差異的表征并不直觀，也就無法定量的評估是否適用遷移學習。

發明內容

有鑒于此，本申請的目的在于提供一種應用遷移學習可行性的度量方法及裝置，用以解決現有技術中所計算出的分布差異數值并不直觀，無法定量評估是否適合遷移學習的技術問題。

本申請提供了一種應用遷移學習可行性度量方法，包括：

獲得目標域對應的輔助域，所述目標域與所述輔助域中分別包括至少一個樣本數據；

基于所述目標域與所述輔助域中的樣本數據，確定領域分類模型及分類特征；

利用所述領域分類模型對所述分類特征進行分類，得到分類精度結果；

基于預設的精度閾值范圍與遷移學習可行性的對應關系，確定與所述分類精度結果相對應的遷移學習可行性結果。

上述方法，優選的，所述基于所述目標域與所述輔助域中的樣本數據，確定領域分類模型及分類特征，包括：

對所述目標域和所述輔助域中的樣本數據利用預設的深度學習框架模型進行訓練，得到特征提取模型；

將所述目標域和所述輔助域中具有所屬領域的領域標簽的樣本數據輸入所述特征提取模型，得到分類特征；

基于所述分類特征，獲得領域分類模型。

上述方法，優選的，基于所述分類特征，獲得領域分類模型，包括：對所述分類特征進行特征訓練，得到領域分類模型。

上述方法，優選的，利用所述領域分類模型對所述分類特征進行分類，得到分類精度結果，包括：

將所述分類特征輸入所述領域分類模型，得到分類精度結果。

上述方法，優選的，基于預設的精度閾值范圍與遷移學習可行性的對應關系，確定與所述分類精度結果相對應的遷移學習可行性結果，包括：

將所述分類精度結果在所述精度閾值范圍中進行匹配，確定所述分類精度結果對應的目標閾值范圍；

如果所述目標閾值范圍為第一閾值范圍，確定所述目標域與所述輔助域在所述分類特征下不適合進行遷移學習；

如果所述目標閾值范圍為第二閾值范圍，確定所述目標域與所述輔助域在所述分類特征下適合進行遷移學習。

本申請還提供了一種應用遷移學習可行性度量裝置，包括：

輔助域獲得單元，用于獲得目標域對應的輔助域，所述目標域與所述輔助域中分別包括至少一個樣本數據；

分類模型確定單元，用于基于所述目標域與所述輔助域中的樣本數據，確定領域分類模型及分類特征；

樣本分類單元，用于利用所述領域分類模型對所述分類特征進行分類，得到分類精度結果；

結果確定單元，用于基于預設的精度閾值范圍與遷移學習可行性的對應關系，確定與所述分類精度結果相對應的遷移學習可行性結果。

上述裝置，優選的，所述分類模型確定單元包括：

深度學習子單元，用于對所述目標域和所述輔助域中的樣本數據利用預設的深度學習框架模型進行訓練，得到特征提取模型；

特征獲得子單元，用于將所述目標域和所述輔助域中具有所屬領域的領域標簽的樣本數據輸入所述特征提取模型，得到分類特征；

模型獲得子單元，用于基于所述分類特征，獲得領域分類模型。

上述裝置，優選的，所述模型獲得子單元包括：

特征訓練模塊，用于對所述分類特征進行特征訓練，得到領域分類模型。

上述裝置，優選的，所述樣本分類單元具體用于：將所述分類特征輸入所述領域分類模型，得到分類精度結果。

上述裝置，優選的，所述結果確定單元包括：