[發明專利]一種基于注意力機制和強化學習的自動特征構造方法

在審

• 申請號: 202011171335.1
• 申請日: 2020-10-28
• 公開（公告）號: CN112464984A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 何潔月;蔡嘉躍;吳宇
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N7/00;G06N20/00
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 張天哲

1.一種基于注意力機制和強化學習的自動特征構造方法，其特征在于，依次包括以下步驟：

(1)給定分類問題的數據集D_TR，包含一個數值型特征集合S，設置參數最大迭代次數,嵌入尺寸的取值；

(2)將數據集和參數傳入TideKit模型，運行模型得到分類結果。

2.根據權利要求1所述的一種基于注意力機制和強化學習的自動特征構造方法，其特征在于，具體步驟為：

(21)基于自注意力機制的自動特征生成方法，具體實現于模型的交互層中，對于每個交互層，高階特征通過自注意力機制進行組合，使用自注意力得分評估不同種類的組合；通過堆疊多個交互層，對組合的原始特征的不同順序進行建模；

(22)基于強化學習的自動特征選擇方法，將特征選擇過程轉換為馬爾可夫決策過程，基于策略梯度并行地評估出每個特征的候選概率，通過迭代不斷探索與利用所生成的特征，在有限步驟內以全局最優的特征生成和選擇方案指導測試集的特征生成。

3.根據權利要求2所述的一種基于注意力機制和強化學習的自動特征構造方法，其特征在于，所述步驟(21)的詳細內容為：在模型的特征交互層中，以自注意力得分評估不同種類的特征組合，將其作為特征交互的權重，提供了特征生成階段的可解釋性；以堆疊交互層的形式完成對不同組合順序的特征交互，提供了特征生成階段的可擴展性，且該過程是完全自動化的。

4.根據權利要求2所述的一種基于注意力機制和強化學習的自動特征構造方法，其特征在于，所述步驟(22)的詳細內容為：將特征選擇過程轉換為馬爾可夫決策過程，并且對此過程建立動態的自動調整機制——在元學習階段根據數據集的特征來預熱系統，以及在特征選擇的迭代過程中根據期望獎勵差的差異化獎勵表征，以此優化迭代效率。