[發(fā)明專(zhuān)利]篩查模型的訓(xùn)練方法、裝置及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910269536.6
• 申請(qǐng)日: 2019-04-04
• 公開(kāi)（公告）號(hào): CN110009038B
• 公開(kāi)（公告）日: 2022-02-22
• 發(fā)明（設(shè)計(jì)）人: 孫旭;楊葉輝;王磊;許言午;黃艷
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62
• 代理公司: 北京市鑄成律師事務(wù)所 11313
• 代理人: 鄧海鴻;陳建民

本發(fā)明實(shí)施例提出一種篩查模型的訓(xùn)練裝置、方法及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。其中篩查模型的訓(xùn)練裝置包括：聚類(lèi)單元，用于利用聚類(lèi)算法對(duì)源領(lǐng)域數(shù)據(jù)進(jìn)行劃分，將源領(lǐng)域劃分為多個(gè)子領(lǐng)域；學(xué)習(xí)單元，用于在多個(gè)所述子領(lǐng)域分別進(jìn)行遷移學(xué)習(xí)，得到多個(gè)用于對(duì)目標(biāo)領(lǐng)域數(shù)據(jù)進(jìn)行分類(lèi)的子領(lǐng)域分類(lèi)器；集成單元，用于將多個(gè)所述子領(lǐng)域分類(lèi)器進(jìn)行集成，得到目標(biāo)領(lǐng)域分類(lèi)器。本發(fā)明實(shí)施例由于在多個(gè)子領(lǐng)域進(jìn)行了更細(xì)粒度的知識(shí)遷移，因而能夠得到效果更好的分類(lèi)器，同時(shí)通過(guò)多源遷移學(xué)習(xí)減少了目標(biāo)領(lǐng)域中的數(shù)據(jù)標(biāo)注成本。

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)領(lǐng)域，尤其涉及一種篩查模型的訓(xùn)練方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

目前常用的人工智能篩查系統(tǒng)，在部署到新的應(yīng)用環(huán)境中時(shí)，由于新的應(yīng)用環(huán)境使用的篩查機(jī)型不一樣，數(shù)據(jù)來(lái)源也不一樣，例如圖像的亮度、對(duì)比度可能都不同，直接使用源領(lǐng)域數(shù)據(jù)會(huì)影響性能。因此需要在新的應(yīng)用環(huán)境中收集大規(guī)模的標(biāo)注數(shù)據(jù)用于訓(xùn)練篩查模型，從而得到預(yù)測(cè)性能較高的篩查模型。這一遷移過(guò)程的數(shù)據(jù)收集和標(biāo)注的成本較高。

另外，由于數(shù)據(jù)獲取設(shè)備的不同，例如拍攝設(shè)備的多樣性以及拍攝角度、光照條件等方面的不同，源領(lǐng)域的數(shù)據(jù)可能服從不同的數(shù)據(jù)分布。這些數(shù)據(jù)互相之間存在的分布差異會(huì)導(dǎo)致源領(lǐng)域訓(xùn)練的分類(lèi)器在新的應(yīng)用環(huán)境中難以得到令人滿(mǎn)意的效果。

目前針對(duì)新的應(yīng)用環(huán)境部署篩查系統(tǒng)的方式包括以下幾種：

(1)收集大量的數(shù)據(jù)，然后請(qǐng)專(zhuān)家進(jìn)行人工標(biāo)注，得到帶有標(biāo)記的訓(xùn)練數(shù)據(jù)，從而學(xué)習(xí)到分類(lèi)器。

(2)直接利用已有的源領(lǐng)域標(biāo)注數(shù)據(jù)訓(xùn)練得到分類(lèi)器，對(duì)新的應(yīng)用環(huán)境中的數(shù)據(jù)進(jìn)行分類(lèi)。

(3)利用單源遷移學(xué)習(xí)技術(shù)，利用帶有標(biāo)注的源領(lǐng)域數(shù)據(jù)和無(wú)標(biāo)注的目標(biāo)領(lǐng)域數(shù)據(jù)，學(xué)習(xí)到能夠用于對(duì)目標(biāo)領(lǐng)域數(shù)據(jù)進(jìn)行分類(lèi)的分類(lèi)器。

以上部署方式的主要缺陷包括：

(1)對(duì)新的應(yīng)用環(huán)境中的數(shù)據(jù)進(jìn)行人工標(biāo)注的方法，需要花費(fèi)大量人力物力和時(shí)間，數(shù)據(jù)標(biāo)注的成本較高。此外，這種方法沒(méi)有有效利用已有的源領(lǐng)域數(shù)據(jù)。

(2)直接利用已有的源領(lǐng)域標(biāo)注數(shù)據(jù)的方法，由于已有的源領(lǐng)域標(biāo)注數(shù)據(jù)和新環(huán)境中的數(shù)據(jù)來(lái)自不同的采集設(shè)備和人群，因而數(shù)據(jù)之間存在較大的分布差異。這種差異往往導(dǎo)致源領(lǐng)域訓(xùn)練的分類(lèi)器在新的應(yīng)用環(huán)境中難以得到令人滿(mǎn)意的效果。

(3)單源遷移學(xué)習(xí)的方法，由于在源領(lǐng)域數(shù)據(jù)采集過(guò)程中，設(shè)備、光照條件、人群、拍攝人員操作手法等方面的不同，在源領(lǐng)域中也可能存在多個(gè)子領(lǐng)域，各個(gè)子領(lǐng)域數(shù)據(jù)互相之間存在一定的分布差異。采用單源遷移學(xué)習(xí)算法，會(huì)忽略這種領(lǐng)域內(nèi)部的子領(lǐng)域之間的分布差異，因而制約了源領(lǐng)域分類(lèi)器的性能。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種篩查模型的訓(xùn)練方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中的一個(gè)或多個(gè)技術(shù)問(wèn)題。

第一方面，本發(fā)明實(shí)施例提供了一種篩查模型的訓(xùn)練裝置，包括：

聚類(lèi)單元，用于利用聚類(lèi)算法對(duì)源領(lǐng)域數(shù)據(jù)進(jìn)行劃分，將源領(lǐng)域劃分為多個(gè)子領(lǐng)域；

學(xué)習(xí)單元，用于在多個(gè)所述子領(lǐng)域分別進(jìn)行遷移學(xué)習(xí)，得到多個(gè)用于對(duì)目標(biāo)領(lǐng)域數(shù)據(jù)進(jìn)行分類(lèi)的子領(lǐng)域分類(lèi)器；

集成單元，用于將多個(gè)所述子領(lǐng)域分類(lèi)器進(jìn)行集成，得到目標(biāo)領(lǐng)域分類(lèi)器。

在一種實(shí)施方式中，所述聚類(lèi)單元用于：

對(duì)所述源領(lǐng)域數(shù)據(jù)進(jìn)行特征提取；

利用聚類(lèi)算法對(duì)所述特征進(jìn)行聚類(lèi)分析，從而將源領(lǐng)域劃分為多個(gè)子領(lǐng)域。

在一種實(shí)施方式中，所述學(xué)習(xí)單元包括：

第一訓(xùn)練子單元，用于在多個(gè)所述子領(lǐng)域分別訓(xùn)練源領(lǐng)域編碼器和所述子領(lǐng)域分類(lèi)器；