[發(fā)明專(zhuān)利]一種數(shù)據(jù)處理方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202111551720.3
• 申請(qǐng)日: 2021-12-17
• 公開(kāi)（公告）號(hào): CN114298179A
• 公開(kāi)（公告）日: 2022-04-08
• 發(fā)明（設(shè)計(jì)）人: 曹桂梅;程戰(zhàn)戰(zhàn);鈕毅
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海高德威智能交通系統(tǒng)有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06N20/00
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 王茹

本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)處理方法、裝置及設(shè)備，包括：將基礎(chǔ)數(shù)據(jù)集和新增數(shù)據(jù)集中的有標(biāo)簽數(shù)據(jù)輸入給基礎(chǔ)模型得到預(yù)測(cè)標(biāo)簽；基于預(yù)測(cè)標(biāo)簽和實(shí)際標(biāo)簽確定第一損失值；將基礎(chǔ)輔助集中偽標(biāo)簽數(shù)據(jù)輸入給基礎(chǔ)模型得到第一基礎(chǔ)向量，將基礎(chǔ)輔助集中偽標(biāo)簽數(shù)據(jù)輸入給第一教師模型得到第二基礎(chǔ)向量，基于第一基礎(chǔ)向量和第二基礎(chǔ)向量確定第二損失值；將新增輔助集中偽標(biāo)簽數(shù)據(jù)輸入給基礎(chǔ)模型得到第一新增向量，將新增輔助集中偽標(biāo)簽數(shù)據(jù)輸入給第二教師模型得到第二新增向量，基于第一新增向量和第二新增向量確定第三損失值；基于第一損失值、第二損失值和第三損失值對(duì)基礎(chǔ)模型進(jìn)行訓(xùn)練，得到目標(biāo)模型。通過(guò)本申請(qǐng)的技術(shù)方案，保證目標(biāo)模型在舊任務(wù)上的性能。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置及設(shè)備。

背景技術(shù)

機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的一種途徑，是一門(mén)多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門(mén)學(xué)科。機(jī)器學(xué)習(xí)用于研究計(jì)算機(jī)如何模擬或?qū)崿F(xiàn)人類(lèi)的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。機(jī)器學(xué)習(xí)更加注重算法設(shè)計(jì)，使計(jì)算機(jī)能夠自動(dòng)地從數(shù)據(jù)中學(xué)習(xí)規(guī)律，并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)。機(jī)器學(xué)習(xí)已經(jīng)有了十分廣泛的應(yīng)用，如深度學(xué)習(xí)、數(shù)據(jù)挖掘、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、生物特征識(shí)別、搜索引擎、醫(yī)學(xué)診斷、語(yǔ)音識(shí)別和手寫(xiě)識(shí)別等。

為了采用機(jī)器學(xué)習(xí)實(shí)現(xiàn)人工智能處理，可以構(gòu)建訓(xùn)練數(shù)據(jù)集，該訓(xùn)練數(shù)據(jù)集包括大量有標(biāo)簽數(shù)據(jù)(如圖像數(shù)據(jù)，即具有標(biāo)定框和標(biāo)定類(lèi)別的圖像)，基于訓(xùn)練數(shù)據(jù)集訓(xùn)練出機(jī)器學(xué)習(xí)模型，如具有目標(biāo)檢測(cè)功能的機(jī)器學(xué)習(xí)模型，可以采用機(jī)器學(xué)習(xí)模型對(duì)待處理數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)，比如說(shuō)，檢測(cè)待處理數(shù)據(jù)中的目標(biāo)框，并識(shí)別出目標(biāo)類(lèi)別，如車(chē)輛類(lèi)別、動(dòng)物類(lèi)別、電子產(chǎn)品類(lèi)別等。

為了訓(xùn)練出機(jī)器學(xué)習(xí)模型，通常需要獲得大量有標(biāo)簽數(shù)據(jù)，而在實(shí)際應(yīng)用中，有標(biāo)簽數(shù)據(jù)是隨著需求增加而逐漸獲得的，這就需要機(jī)器學(xué)習(xí)模型具備持續(xù)學(xué)習(xí)的能力，即增量學(xué)習(xí)。增量學(xué)習(xí)是指訓(xùn)練數(shù)據(jù)集中的有標(biāo)簽數(shù)據(jù)是分批次依次獲得的，具體表現(xiàn)形式可以是不同任務(wù)的有標(biāo)簽數(shù)據(jù)、不同場(chǎng)景的有標(biāo)簽數(shù)據(jù)、同一場(chǎng)景的有標(biāo)簽數(shù)據(jù)的逐漸擴(kuò)充，增量學(xué)習(xí)的目標(biāo)是克服機(jī)器學(xué)習(xí)模型學(xué)習(xí)新數(shù)據(jù)時(shí)在舊數(shù)據(jù)上發(fā)生“災(zāi)難性遺忘”的問(wèn)題，也就是說(shuō)，機(jī)器學(xué)習(xí)模型針對(duì)新數(shù)據(jù)的性能比較高，但是針對(duì)舊數(shù)據(jù)的性能比較低。

在增量學(xué)習(xí)過(guò)程中，由于每個(gè)任務(wù)僅保存少量有標(biāo)簽數(shù)據(jù)，難以較好地保持機(jī)器學(xué)習(xí)模型在舊數(shù)據(jù)上的性能，即存在舊數(shù)據(jù)的災(zāi)難性遺忘問(wèn)題。隨著日益增多的增量任務(wù)，需要存儲(chǔ)大量舊數(shù)據(jù)，即存在存儲(chǔ)需求大的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)處理方法，所述方法包括：

獲取待訓(xùn)練的基礎(chǔ)模型；獲取舊任務(wù)對(duì)應(yīng)的第一教師模型、基礎(chǔ)數(shù)據(jù)集和基礎(chǔ)輔助集，所述基礎(chǔ)數(shù)據(jù)集包括有標(biāo)簽數(shù)據(jù)，所述基礎(chǔ)輔助集包括偽標(biāo)簽數(shù)據(jù)；獲取增量任務(wù)對(duì)應(yīng)的第二教師模型、新增數(shù)據(jù)集和新增輔助集，所述新增數(shù)據(jù)集包括有標(biāo)簽數(shù)據(jù)，所述新增輔助集包括偽標(biāo)簽數(shù)據(jù)；

將所述基礎(chǔ)數(shù)據(jù)集和所述新增數(shù)據(jù)集中的有標(biāo)簽數(shù)據(jù)輸入給所述基礎(chǔ)模型，得到所述有標(biāo)簽數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)標(biāo)簽；基于所述有標(biāo)簽數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)標(biāo)簽和所述有標(biāo)簽數(shù)據(jù)對(duì)應(yīng)的實(shí)際標(biāo)簽確定第一損失值；

將所述基礎(chǔ)輔助集中的偽標(biāo)簽數(shù)據(jù)輸入給基礎(chǔ)模型得到第一基礎(chǔ)向量，將所述基礎(chǔ)輔助集中的偽標(biāo)簽數(shù)據(jù)輸入給第一教師模型得到第二基礎(chǔ)向量，基于所述第一基礎(chǔ)向量和所述第二基礎(chǔ)向量確定第二損失值；

將所述新增輔助集中的偽標(biāo)簽數(shù)據(jù)輸入給基礎(chǔ)模型得到第一新增向量，將所述新增輔助集中的偽標(biāo)簽數(shù)據(jù)輸入給第二教師模型得到第二新增向量，基于所述第一新增向量和所述第二新增向量確定第三損失值；

基于所述第一損失值、所述第二損失值和所述第三損失值確定目標(biāo)損失值，基于所述目標(biāo)損失值對(duì)所述基礎(chǔ)模型進(jìn)行訓(xùn)練，得到已訓(xùn)練的目標(biāo)模型；

其中，所述目標(biāo)模型用于對(duì)待處理數(shù)據(jù)進(jìn)行數(shù)據(jù)處理。