[發(fā)明專利]對(duì)圖像數(shù)據(jù)進(jìn)行無(wú)偏見(jiàn)分類的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911099709.0
• 申請(qǐng)日: 2019-11-12
• 公開(kāi)（公告）號(hào): CN110837570B
• 公開(kāi)（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 張翼;桑基韜;黃遵锜;于劍;周中元;李澤松
• 申請(qǐng)（專利權(quán)）人: 北京交通大學(xué);中國(guó)電子科技集團(tuán)公司第二十八研究所;中電科大數(shù)據(jù)研究院有限公司
• 主分類號(hào): G06F16/55
• 分類號(hào): G06F16/55;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 黃曉軍

本發(fā)明提供了一種對(duì)圖像數(shù)據(jù)進(jìn)行無(wú)偏見(jiàn)分類的方法。該方法包括：根據(jù)分類標(biāo)簽和偏見(jiàn)屬性對(duì)訓(xùn)練圖像數(shù)據(jù)進(jìn)行標(biāo)注；構(gòu)建用于圖像分類的深度卷積神經(jīng)網(wǎng)絡(luò)，將訓(xùn)練圖像數(shù)據(jù)輸入到深度卷積神經(jīng)網(wǎng)絡(luò)，將深度卷積神經(jīng)網(wǎng)絡(luò)中的卷積層輸出的圖像特征劃分為無(wú)偏見(jiàn)分類信息和偏見(jiàn)信息；通過(guò)偏見(jiàn)分類器對(duì)偏見(jiàn)信息進(jìn)行分類，通過(guò)特征分類器對(duì)無(wú)偏見(jiàn)分類信息進(jìn)行分類，利用損失函數(shù)對(duì)偏見(jiàn)分類器和特征分類器進(jìn)行迭代優(yōu)化；利用優(yōu)化完成后的特征分類器對(duì)需要分類的圖像數(shù)據(jù)進(jìn)行去偏見(jiàn)分類。本發(fā)明通過(guò)利用完全的數(shù)據(jù)進(jìn)行訓(xùn)練，這樣能夠保證在去偏見(jiàn)的同時(shí)，仍然能夠提取到充分的分類信息，實(shí)現(xiàn)在去偏見(jiàn)的同時(shí)，保證模型仍有較高的分類準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種對(duì)圖像數(shù)據(jù)進(jìn)行無(wú)偏見(jiàn)分類的方法。

背景技術(shù)

隨著大數(shù)據(jù)時(shí)代的到來(lái)，深度學(xué)習(xí)技術(shù)已經(jīng)成為當(dāng)前人工智能領(lǐng)域的一個(gè)研究熱點(diǎn)，其已在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理、搜索推薦等領(lǐng)域展現(xiàn)出了巨大的優(yōu)勢(shì)，甚至準(zhǔn)確率已經(jīng)超過(guò)了人類的表現(xiàn)，并且仍在繼續(xù)發(fā)展變化。但是隨著深度學(xué)習(xí)模型在現(xiàn)實(shí)生活中的大規(guī)模部署，一些社會(huì)問(wèn)題也暴露了出來(lái)，比如應(yīng)用于美國(guó)司法量刑的COMPAS系統(tǒng)對(duì)黑人存在歧視，會(huì)造成司法不公；MIT媒體實(shí)驗(yàn)室發(fā)現(xiàn)人臉識(shí)別系統(tǒng)對(duì)黑人識(shí)別的準(zhǔn)確率要低于白人。

經(jīng)過(guò)研究，學(xué)術(shù)界當(dāng)前普遍認(rèn)為偏見(jiàn)現(xiàn)象是因?yàn)樵谀Ｐ陀?xùn)練數(shù)據(jù)中，數(shù)據(jù)分布不公正導(dǎo)致的，在某些任務(wù)中，不同性別和不同膚色的人群樣布在數(shù)據(jù)集中占比是不同的，這導(dǎo)致模型對(duì)不同的人群學(xué)習(xí)程度不同，存在著偏差。并且因?yàn)槠?jiàn)難以量化，所以無(wú)法直接約束模型在學(xué)習(xí)分類任務(wù)中不引入偏見(jiàn)信息。

現(xiàn)有技術(shù)中一種解決數(shù)據(jù)不平衡導(dǎo)致模型存在偏見(jiàn)的方法為：將數(shù)據(jù)集采樣為一個(gè)較為均衡的子集，并使用子集訓(xùn)練神經(jīng)網(wǎng)絡(luò)。因?yàn)榉植季獾臄?shù)據(jù)集中，分類屬性和偏見(jiàn)屬性沒(méi)有分布上的相關(guān)性，所以神經(jīng)網(wǎng)絡(luò)也學(xué)不到其中的相關(guān)性，不會(huì)導(dǎo)致出偏見(jiàn)。

上述現(xiàn)有技術(shù)的解決數(shù)據(jù)不平衡導(dǎo)致模型存在偏見(jiàn)的方法的缺點(diǎn)包括：

1：深度學(xué)習(xí)的有效性來(lái)源于大量的數(shù)據(jù)量，而通過(guò)簡(jiǎn)單直接的對(duì)數(shù)據(jù)集重新采樣為子集的操作，會(huì)導(dǎo)致大量數(shù)據(jù)的丟失和浪費(fèi)，較大的降低了模型的準(zhǔn)確率，對(duì)于準(zhǔn)確率和去偏見(jiàn)不能兩全。

2：專業(yè)領(lǐng)域：尤其在一些數(shù)據(jù)采集或者標(biāo)注的成本較高的應(yīng)用場(chǎng)景中，比如在醫(yī)療、航空等專業(yè)性較強(qiáng)的領(lǐng)域，采集和標(biāo)注都需要專家知識(shí)，這種重采樣做法對(duì)人力物力有更大的要求。

3：類別偏差大：在數(shù)據(jù)重采樣中，對(duì)數(shù)據(jù)偏差較大的類別進(jìn)行重采樣不太現(xiàn)實(shí)。比如對(duì)于職業(yè)分類數(shù)據(jù)集，在去除對(duì)于性別的偏見(jiàn)的任務(wù)中，為了平衡數(shù)據(jù)集，需要將不同的職業(yè)的男女人群數(shù)目平衡。對(duì)于其中的護(hù)士職業(yè)類，性別偏差較大，為了平衡數(shù)據(jù)集，需要在女性護(hù)士中采樣出男性護(hù)士數(shù)目的的子集(真實(shí)生活中的男性護(hù)士個(gè)數(shù)實(shí)在太少)，這就導(dǎo)致整個(gè)護(hù)士類別樣本數(shù)目過(guò)少，根部不足以為模型提供護(hù)士的信息。

發(fā)明內(nèi)容

本發(fā)明的實(shí)施例提供了一種對(duì)圖像數(shù)據(jù)進(jìn)行無(wú)偏見(jiàn)分類的方法，以克服現(xiàn)有技術(shù)的問(wèn)題。

為了實(shí)現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案。

一種對(duì)圖像數(shù)據(jù)進(jìn)行無(wú)偏見(jiàn)分類的方法，優(yōu)選地，包括：

根據(jù)分類標(biāo)簽和偏見(jiàn)屬性對(duì)訓(xùn)練圖像數(shù)據(jù)進(jìn)行標(biāo)注；

構(gòu)建用于圖像分類的深度卷積神經(jīng)網(wǎng)絡(luò)，所述深度卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、卷積層對(duì)應(yīng)的特征分類器和偏見(jiàn)分類器，將訓(xùn)練圖像數(shù)據(jù)輸入到所述深度卷積神經(jīng)網(wǎng)絡(luò)，將所述深度卷積神經(jīng)網(wǎng)絡(luò)中的卷積層輸出的圖像特征劃分為無(wú)偏見(jiàn)分類信息和偏見(jiàn)信息；

通過(guò)所述偏見(jiàn)分類器對(duì)所述偏見(jiàn)信息進(jìn)行分類，通過(guò)所述特征分類器對(duì)所述無(wú)偏見(jiàn)分類信息進(jìn)行分類，利用損失函數(shù)對(duì)所述偏見(jiàn)分類器和所述特征分類器進(jìn)行迭代優(yōu)化；

利用優(yōu)化完成后的特征分類器對(duì)需要分類的圖像數(shù)據(jù)進(jìn)行去偏見(jiàn)分類。