[發明專利]面向記憶增強元學習的深度學習模型去偏方法

在審

• 申請號: 202110649914.0
• 申請日: 2021-06-10
• 公開（公告）號: CN113313254A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 陳晉音;陳奕芃;陳一鳴;鄭海斌
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

本發明公開了一種面向記憶增強元學習的深度學習模型去偏方法，包括：(1)獲取樣本數據集，并提取類別標簽以及敏感屬性標簽；(2)構建包含控制器和外部記憶單元的深度學習模型；(3)利用深度學習模型對樣本數據進行學習的過程中，依據輸出鍵值與類別標簽之間的映射關系篩選得到類別標簽，并依據類別標簽進行關于敏感屬性的相似度檢測，篩選得到敏感樣本；(4)對敏感樣本進行重要性檢測，以確定敏感樣本的重要性權重；(5)依據重要性權重對敏感樣本刪減或改變重要性權重，以實現對深度學習模型的去偏處理，從而達到對深度學習模型的去偏效果。

技術領域

本發明屬于深度學習技術領域，具體涉及一種面向記憶增強元學習的深度學習模型去偏方法。

背景技術

隨著深度學習的發展，各種智能設備逐漸增多，但是對于智能程序來說，需要數萬甚至數百萬的數據進行訓練，這是深度學習的不足之處之一。有人認為，如果機器也可以擁有具有學習能力，當面臨樣本量減少的問題時，機器同樣可以快速學習，這就是元學習的由來。元學習具有自我學習的能力，可以充分利用過去的經驗來指導未來的任務，被認為是實現通用人工智能的關鍵。學習能力可以充分利用以前的知識和經驗來指導新任務的學習，因此元學習已成為深度學習的新方向。

記憶增強的元學習模型是元學習的一個分支，記憶增強神經網絡是利用外部記憶網絡的進行存儲的元學習方法之一。在記憶增強神經網絡中，使用外部存儲器來存儲樣本表示和類標簽信息。通常控制器從輸入中生成一個鍵，該鍵要么存儲在外部內存中，要么用于檢索特定的內存，然后用反向傳播對整個系統進行訓練，通過這種方式，記憶增強元學習可以記住經驗。在基于記憶增強元學習中添加了外部記憶存儲上一次的輸入，使得模型能夠通過外部記憶獲取相關信息進行比對來實現更好的預測。

在歷史記憶中存在的偏見可能會不斷積累，這些偏見的具體表現在：元學習在基于種族、年齡、性別等敏感屬性上的應用仍然具有不公平性，這種基于數據的學習方法會過度關聯敏感屬性，可能會對受保護群體表現出歧視行為，從而對個人和社會產生潛在的負面影響。在醫學領域，年齡作為一種潛在的敏感屬性，會影響基于深度學習診斷系統的評估結果.例如，來自UCI機器學習知識庫的Heart Dataset包含了906名不同年齡段患者的14個處理過的特征，這個數據集的目標是準確地預測一個人是否患有心臟病，而研究發現系統對年齡的偏見可能會導致不必要的醫療護理。在某些簡歷篩選工具中，存在對性別這一敏感屬性產生歧視性行為的現象，導致男性在應聘過程中比女性更有優勢.如果使用這樣的帶有偏見深度學習模型進行預測，這種偏見使決策者做出有偏差甚至錯誤的判斷結果，并且將會提高決策者的決策風險。

由此可見，模型中存在的偏見將會對決策者的決策造成重大不利影響，并且這些偏見幾乎無處不在。因此，研究記憶增強元學習的去偏方法就顯得尤其重要。

發明內容

本發明的目的是提供一種面向記憶增強元學習的深度學習模型去偏方法。通過檢測記憶增強元學習的外部記憶單元包含的樣本或標簽中是否存在偏見信息，若存在偏見，則通過改變帶偏樣本的權重來進行操作，從而達到對深度學習模型的去偏效果。

本發明解決其技術問題所采用的技術方案是：

一種面向記憶增強元學習的深度學習模型去偏方法，包括以下步驟：

(1)獲取樣本數據集，并提取類別標簽以及敏感屬性標簽；

(2)構建包含控制器和外部記憶單元的深度學習模型，其中，控制器用于對輸入樣本進行特征提取后輸出鍵值，外部記憶單元用于存儲輸出鍵值，輸入樣本的類別標簽以及輸出鍵值與類別標簽之間的映射關系；

(3)利用深度學習模型對樣本數據進行學習的過程中，依據輸出鍵值與類別標簽之間的映射關系篩選得到類別標簽，并依據類別標簽進行關于敏感屬性的相似度檢測，篩選得到敏感樣本；

(4)對敏感樣本進行重要性檢測，以確定敏感樣本的重要性權重；