[發(fā)明專利]基于多目標(biāo)進(jìn)化算法的公平機(jī)器學(xué)習(xí)模型的訓(xùn)練方法

在審

• 申請?zhí)枺?/td>: 202110653352.7
• 申請日: 2021-06-11
• 公開（公告）號: CN113642226A
• 公開（公告）日: 2021-11-12
• 發(fā)明（設(shè)計(jì)）人: 劉佳琳;張清泉;姚新;張澤琦;毛碧飛
• 申請（專利權(quán)）人: 南方科技大學(xué);華為技術(shù)有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/12;G06N20/00;G06F111/06
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發(fā)明公開了一種基于多目標(biāo)進(jìn)化算法的公平機(jī)器學(xué)習(xí)模型的訓(xùn)練方法，尤其是在倫理問題的公平性背景中的基于多目標(biāo)進(jìn)化算法的公平機(jī)器學(xué)習(xí)模型的訓(xùn)練方法。根據(jù)場景確定多個(gè)正交性的公平性指標(biāo)和準(zhǔn)確性指標(biāo)；根據(jù)多個(gè)正交性的公平性指標(biāo)和準(zhǔn)確性指標(biāo)建模為多個(gè)優(yōu)化目標(biāo)；根據(jù)基于種群的多目標(biāo)進(jìn)化算法的多個(gè)算子以及多個(gè)優(yōu)化目標(biāo)對機(jī)器學(xué)習(xí)模型進(jìn)行演化。同時(shí)考慮多個(gè)具有正交性的公平性指標(biāo)和準(zhǔn)確性指標(biāo)，通過使用多個(gè)指標(biāo)可以多角度的評估模型公平性，使評估更加全面。不會(huì)重復(fù)從同一角度評估，避免計(jì)算資源的浪費(fèi)或被動(dòng)增加該指標(biāo)的重要性。通過提高種群內(nèi)模型的多樣性，生成具有高質(zhì)量和多樣的機(jī)器學(xué)習(xí)模型。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及機(jī)器學(xué)習(xí)技術(shù)，尤其涉及一種在倫理問題的公平性背景 中的基于多目標(biāo)進(jìn)化算法的公平機(jī)器學(xué)習(xí)模型的訓(xùn)練方法。

背景技術(shù)

隨著機(jī)器學(xué)習(xí)在不同應(yīng)用中的廣泛使用，機(jī)器學(xué)習(xí)的安全性和公平性的要 求越來越高。大量的研究者嘗試解決機(jī)器學(xué)習(xí)中不公平性的問題。

隨著機(jī)器學(xué)習(xí)在不同應(yīng)用中的廣泛使用，安全和公平性約束已經(jīng)成為研究 人員和工程師面臨的一個(gè)巨大問題。機(jī)器學(xué)習(xí)在法庭上被用來評估被告重新犯 罪的可能性。它被用于不同的醫(yī)療領(lǐng)域，在兒童福利系統(tǒng)和自動(dòng)駕駛汽車。所 有這些應(yīng)用程序都對我們的生活有直接影響。因此，在設(shè)計(jì)這些類型的敏感工 具時(shí)，考慮公平性約束是一項(xiàng)至關(guān)重要的任務(wù)。

大量的研究者嘗試解決機(jī)器學(xué)習(xí)中不公平性的情況。然而，度量不公平性 的定義是難以確定的，需要考慮定義公平的哲學(xué)和倫理爭論，因此，創(chuàng)建公平 量化的廣義概念是具有挑戰(zhàn)性的。度量公平性的指標(biāo)通常要么強(qiáng)調(diào)個(gè)人(例如每 個(gè)人都被平等對待)，要么強(qiáng)調(diào)群體公平，而后者則進(jìn)一步區(qū)分于群體內(nèi)部(如 女性vs男性)和群體之間的公平。目前，使用已確立的定義組合這些理想在數(shù) 學(xué)上是難以處理的。

有研究表明，大量的公平性的度量指標(biāo)是相互沖突的，例如Demographic Parity與Equalized Odds、Individual fairness與Group fairness等，同 時(shí)也表明：通常增加公平性往往會(huì)導(dǎo)致整體準(zhǔn)確性或其相關(guān)指標(biāo)降低。因此， 大量的學(xué)者嘗試在不同的公平性指標(biāo)間，與公平性指標(biāo)與準(zhǔn)確性之間進(jìn)行折中 處理。

如圖1所示，目前的一種實(shí)現(xiàn)方式為，以預(yù)測準(zhǔn)確性指標(biāo)為目標(biāo)，使用訓(xùn) 練數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)模型。根據(jù)某個(gè)公平性指標(biāo)對訓(xùn)練后獲得的模型進(jìn)行評估。 該模型被一個(gè)或多個(gè)公平性指標(biāo)是否判為公平。如果公平，則輸出模型。如果 不公平，則不使用該模型。通過對訓(xùn)練數(shù)據(jù)進(jìn)行處理，如去除掉偏見數(shù)據(jù)，使 用處理后的訓(xùn)練數(shù)據(jù)再次訓(xùn)練模型。上述實(shí)現(xiàn)方式在模型訓(xùn)練過程中未考慮公 平性。

如圖2所示，目前的另一種實(shí)現(xiàn)方式為，以預(yù)測準(zhǔn)確性指標(biāo)和單個(gè)公平性 指標(biāo)的加權(quán)和為目標(biāo)，使用訓(xùn)練數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)模型。根據(jù)某個(gè)公平性指標(biāo) 對訓(xùn)練后獲得的模型進(jìn)行評估。判斷該模型被一個(gè)或多個(gè)公平性指標(biāo)是否判公 平。如果公平，則輸出模型。如果不公平，則不使用該模型。通過對訓(xùn)練數(shù)據(jù) 進(jìn)行處理，如去掉偏見數(shù)據(jù)，或者改變預(yù)測準(zhǔn)確性指標(biāo)和單個(gè)公平性指標(biāo)的加 權(quán)和公式，再次訓(xùn)練模型。上述實(shí)現(xiàn)方式在機(jī)器學(xué)習(xí)模型訓(xùn)練過程中只考慮一 個(gè)公平性指標(biāo)，并且需要在訓(xùn)練前決定公平性指標(biāo)和模型準(zhǔn)確性指標(biāo)的權(quán)值， 一次訓(xùn)練只能獲得一個(gè)相應(yīng)的模型。因此，當(dāng)處理不同問題時(shí)，需要調(diào)整其不同的權(quán)重值，來達(dá)到用戶可接受的結(jié)果。當(dāng)不同的用戶需要在不同公平性指標(biāo) 與準(zhǔn)確性指標(biāo)之間具有不同的折中要求時(shí)，只能重新運(yùn)行算法才能得到另一個(gè) 折中方案的結(jié)果。

可見，目前大多采用對某一種公平性的度量指標(biāo)進(jìn)行優(yōu)化。然而，公平性 的度量指標(biāo)有很多，且多個(gè)公平性指標(biāo)之間存在沖突的情況，公平性的增加， 導(dǎo)致準(zhǔn)確性的降低。只考慮一個(gè)公平性衡量指標(biāo)訓(xùn)練機(jī)器學(xué)習(xí)模型時(shí)，使用另 一個(gè)公平性衡量指標(biāo)評估所獲得的模型時(shí)，可能因?yàn)閮煞N指標(biāo)的評估角度不同 或矛盾性而獲得相反的評估結(jié)果。如何獲得在多種角度的公平性與準(zhǔn)確性之間 達(dá)到不同的優(yōu)選折中方案成為亟待解決的問題。

發(fā)明內(nèi)容