[發明專利]面向記憶增強元學習的深度學習模型去偏方法

在審

• 申請號: 202110649914.0
• 申請日: 2021-06-10
• 公開（公告）號: CN113313254A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 陳晉音;陳奕芃;陳一鳴;鄭海斌
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

1.一種面向記憶增強元學習的深度學習模型去偏方法，其特征在于，包括以下步驟：

(1)獲取樣本數據集，并提取類別標簽以及敏感屬性標簽；

(2)構建包含控制器和外部記憶單元的面向記憶增強元學習的深度學習模型，其中，控制器用于對輸入樣本進行特征提取后輸出鍵值，外部記憶單元用于存儲輸出鍵值，輸入樣本的類別標簽以及輸出鍵值與類別標簽之間的映射關系；

(3)利用深度學習模型對樣本數據進行學習的過程中，依據輸出鍵值與類別標簽之間的映射關系篩選得到類別標簽，并依據類別標簽進行關于敏感屬性的相似度檢測，篩選得到敏感樣本；

(4)對敏感樣本進行重要性檢測，以確定敏感樣本的重要性權重；

(5)依據重要性權重對敏感樣本刪減或改變重要性權重，以實現對深度學習模型的去偏處理。

2.如權利要求1所述的面向記憶增強元學習的深度學習模型去偏方法，其特征在于，所述敏感屬性為種族屬性、性別屬性。

3.如權利要求1所述的面向記憶增強元學習的深度學習模型去偏方法，其特征在于，在構建深度學習模型時，控制器采用長短期記憶網絡，為長短期記憶網絡的每層均配置一個用作存儲的外部記憶單元，外部記憶單元采用循環神經網絡。

4.如權利要求1所述的面向記憶增強元學習的深度學習模型去偏方法，其特征在于，利用深度學習模型對樣本數據進行學習的過程中，輸入樣本和對應的目標分類標簽會錯時刻輸入至控制器中，控制器的每層網絡均會對輸入數據進行特征提取，得到輸出鍵值，該輸出鍵值作為外部記憶單元的索引，與對應的目標分類標簽同時輸入至外部記憶單元，通過的外部記憶單元的計算過程得到記憶矩陣，該記憶矩陣保存了輸出鍵值和目標分類標簽的映射關系，記憶矩陣中還存儲了敏感屬性信息。

5.如權利要求1所述的面向記憶增強元學習的深度學習模型去偏方法，其特征在于，在進行敏感樣本篩選時，將樣本數據輸入至控制器經計算得到輸出鍵值，依據作為外部記憶單元索引的輸出鍵值找到對應的外部記憶單元的記憶矩陣，并找到記憶矩陣中包含敏感屬性信息的目標分類標簽，并計算樣本數據與該包含敏感屬性信息的目標分類標簽的余弦相似度，當余弦相似度大于閾值時，則綁定輸入樣本數據和目標分類標簽，同時樣本數據作為敏感樣本。

6.如權利要求1所述的面向記憶增強元學習的深度學習模型去偏方法，其特征在于，步驟(4)包括：

依據外部記憶單元保存的具有敏感屬性信息的目標分類標簽與輸入樣本數據對應的輸出健值的映射關系，對敏感樣本進行采樣得到敏感樣本對應的輸出健值和目標分類標簽；

依據敏感樣本對應的輸出健值和目標分類標簽的余弦相似度確定名敏感樣本中對應敏感屬性的重要性權重。

7.如權利要求1所述的面向記憶增強元學習的深度學習模型去偏方法，其特征在于，步驟(5)的具體過程包括：

對于重要性權重小于權重閾值的敏感樣本進行刪除，對于重要性權重大于權重閾值的敏感樣本，進行重要性權重的減小處理。

8.如權利要求1所述的面向記憶增強元學習的深度學習模型去偏方法，其特征在于，還包括：對于深度學習模型的去偏效果進行公平性測試。