[發明專利]一種基于深度增強學習的不平衡分類方法

在審

• 申請號: 201810652374.X
• 申請日: 2018-06-22
• 公開（公告）號: CN108985342A
• 公開（公告）日: 2018-12-11
• 發明（設計）人: 陳瓊;戚瀟明;林恩祿
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/30
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種基于深度增強學習的不平衡分類方法，包括步驟：1)構建智能體的分類任務與交互規則；2)構建智能體的動作空間；3)構建外部環境；4)構建深度神經網絡模型；5)訓練基于深度增強學習的不平衡分類模型，即用深度神經網絡模型學習Q函數。本發明將深度增強學習用于有監督學習中的不平衡分類問題，通過回報函數對少數類樣本分類動作給予更高的獎懲值來提高少數類樣本特征在分類建模中的作用，使智能體在不同類型的數據環境和不同不平衡程度的數據中學會正確的分類策略，在不平衡二分類和多分類問題中均適用，因而本發明具有實際應用價值，值得推廣。

技術領域

本發明涉及機器學習中的深度學習、增強學習、不平衡分類的技術領域，尤其是指一種基于深度增強學習的不平衡分類方法。

背景技術

對于不平衡分類問題，通常的解決思路是從數據層和算法層的角度去改善。但是數據層的改善方法會改變訓練數據的原始分布特征，重采樣后的數據往往不能反映真實數據的分布特征。比如上采樣方法對少數類樣本的簡單復制或者插值生成新樣本會導致訓練模型對少數類樣本過擬合，而下采樣方法則會因為對多數類樣本的刪除而導致數據信息丟失。算法層的方法也存在問題，基于集成學習的方法通常需要訓練多個基分類器，訓練代價相對較高，而基于代價敏感的學習方式，很難為不同的類別定義準確的懲罰代價。

現實生活中數據分布不平衡的問題客觀存在，當少數類樣本的總體特征空間無法估計時，數據層和算法層的改進方法都有局限性，很難找到一個通用的方法解決不平衡分類問題。

增強學習不僅具有對已知環境的學習能力，重要的是對未知環境的具有探索能力。將增強學習用于解決不平衡分類問題，其探索學習的能力可以使智能體利用已學會的分類策略評估未知的樣本特征，使智能體在不同類型的數據環境和不同不平衡程度的數據環境中學會正確的分類策略。

發明內容

本發明的目的在于克服現有技術的不足，提出了一種行之有效、科學合理的基于深度增強學習的不平衡分類方法，將深度增強學習用以解決有監督學習中的不平衡分類問題，通過回報函數對少數類樣本分類動作給予更高的獎懲值來提高少數類樣本特征在分類建模中的作用，使智能體在不同類型的數據環境和不同不平衡程度的數據中學會正確的分類策略。本發明提出的方法模型在不平衡二分類和多分類問題中均適用，是一個具有較強魯棒性的通用模型。

為實現上述目的，本發明所提供的技術方案為：一種基于深度增強學習的不平衡分類方法，包括以下步驟：

1)構建智能體的分類任務與交互規則；

2)構建智能體的動作空間；

3)構建外部環境；

4)構建深度神經網絡模型；

5)訓練基于深度增強學習的不平衡分類模型，即用深度神經網絡模型學習Q函數。

在步驟1)中，構建的分類任務為：智能體依次對環境中的每一個訓練樣本分類，當分類正確時，智能體從環境獲得正回報值，否則智能體獲得負回報值；智能體的目標就是在分類任務中獲得最多的累計回報；

在不平衡分類任務中，為引導智能體學會對不平衡數據分類的策略，制定智能體與環境的交互規則：如果智能體對少數類樣本分類正確，環境給予高額的正回報值以獎勵；一旦分類錯誤，則終止當前分類任務，同時環境給予高額的負回報值以懲罰；如果智能體對多數類樣本分類正確，環境給予低額的正回報值以獎勵；如果分類錯誤，環境給予低額的負回報值以懲罰。

在步驟2)中，智能體的動作空間與訓練數據的類別對應，對于不平衡N＝2分類問題，定義智能體的動作空間A＝{0,1}，0和1分別代表樣本的標簽，在t時刻，智能體對每一個樣本分類，輸出動作a_t，a_t∈A。

在步驟3)中，構建外部環境包括如下步驟：

3-1)構建環境的狀態空間