[發(fā)明專利]模型訓(xùn)練方法及裝置

在審

• 申請?zhí)枺?/td>: 201610421438.6
• 申請日: 2016-06-14
• 公開（公告）號: CN107506775A
• 公開（公告）日: 2017-12-22
• 發(fā)明（設(shè)計）人: 張默
• 申請（專利權(quán)）人: 北京陌上花科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司11315
• 代理人: 許志勇

技術(shù)領(lǐng)域

本申請屬于數(shù)據(jù)識別技術(shù)領(lǐng)域，具體地說，涉及一種基于深度學(xué)習(xí)和K鄰近的通用分類框架。

背景技術(shù)

在實際應(yīng)用中，通常需要對圖像、聲音、文本等數(shù)據(jù)進(jìn)行識別，以根據(jù)識別結(jié)果進(jìn)行相應(yīng)的操作。例如對圖像數(shù)據(jù)進(jìn)行圖像識別，以識別圖像類別，實現(xiàn)對圖像分類；對聲音數(shù)據(jù)進(jìn)行聲音識別，以確定用戶年齡、性別等。

目前，對圖像、聲音、文本等數(shù)據(jù)進(jìn)行識別通常是利用識別模型實現(xiàn)的，因此首先需要訓(xùn)練識別模型。

以圖像識別為例，識別模型為圖像分類器，在進(jìn)行圖像分類器訓(xùn)練時，需要獲得樣本圖像，并提取樣本圖像的圖像特征，然后利用圖像特征對圖像分類器進(jìn)行識別。而為了提高圖像特征表達(dá)的全面性和準(zhǔn)確性，圖像特征通常采用深度學(xué)習(xí)模型提取的圖像特征，因此為了訓(xùn)練獲得圖像分類器，需要首先訓(xùn)練深度學(xué)習(xí)模型，但是深度學(xué)習(xí)模型的訓(xùn)練通常需要大量的訓(xùn)練數(shù)據(jù)，但是大量訓(xùn)練數(shù)據(jù)的采集通常是耗時和昂貴的，而如果采用較小數(shù)量的深度學(xué)習(xí)模型，又使得訓(xùn)練獲得的深度學(xué)習(xí)模型不準(zhǔn)確，導(dǎo)致圖像分類器也不準(zhǔn)確，且存在過擬合風(fēng)險。

發(fā)明內(nèi)容

有鑒于此，本申請所要解決的技術(shù)問題是提供了一種模型訓(xùn)練方法及裝置，解決了現(xiàn)有技術(shù)中訓(xùn)練模型不準(zhǔn)確，且存在過擬合風(fēng)險的技術(shù)問題。

為了解決上述技術(shù)問題，本申請開了一種模型訓(xùn)練方法，包括：

獲取源領(lǐng)域深度學(xué)習(xí)模型；

獲取目標(biāo)領(lǐng)域的訓(xùn)練數(shù)據(jù)；

利用所述目標(biāo)領(lǐng)域的訓(xùn)練數(shù)據(jù)，調(diào)整所述源領(lǐng)域深度學(xué)習(xí)模型的權(quán)重參數(shù)，獲得目標(biāo)領(lǐng)域深度學(xué)習(xí)模型；

利用所述目標(biāo)領(lǐng)域深度學(xué)習(xí)模型，提取所述訓(xùn)練數(shù)據(jù)的數(shù)據(jù)特征；

利用所述數(shù)據(jù)特征訓(xùn)練K最近鄰分類模型，獲得識別模型。

優(yōu)選地，所述利用所述數(shù)據(jù)特征訓(xùn)練K最近鄰分類模型，獲得識別模型包括：

將所述數(shù)據(jù)特征進(jìn)行特征降維，獲得低維度特征；

利用所述低維度特征訓(xùn)練K最近鄰分類模型，獲得識別模型。

優(yōu)選地，所述利用所述目標(biāo)領(lǐng)域的訓(xùn)練數(shù)據(jù)，調(diào)整所述源領(lǐng)域深度學(xué)習(xí)模型的權(quán)重參數(shù)，獲得目標(biāo)領(lǐng)域深度學(xué)習(xí)模型包括：

將所述源領(lǐng)域深度學(xué)習(xí)模型的權(quán)重參數(shù)作為初始參數(shù)；

設(shè)定低于預(yù)設(shè)率的學(xué)習(xí)率；

利用所述目標(biāo)領(lǐng)域的訓(xùn)練數(shù)據(jù)以及所述學(xué)習(xí)率，調(diào)整所述源領(lǐng)域深度學(xué)習(xí)模型的權(quán)重參數(shù)，獲得目標(biāo)領(lǐng)域深度學(xué)習(xí)模型。

優(yōu)選地，所述利用所述目標(biāo)領(lǐng)域的訓(xùn)練數(shù)據(jù)以及所述學(xué)習(xí)率，調(diào)整所述源領(lǐng)域深度學(xué)習(xí)模型的權(quán)重參數(shù)，獲得目標(biāo)領(lǐng)域深度學(xué)習(xí)模型包括：

利用所述目標(biāo)領(lǐng)域的訓(xùn)練數(shù)據(jù)以及所述學(xué)習(xí)率，按照小于預(yù)設(shè)次數(shù)的調(diào)整次數(shù)，重復(fù)調(diào)整所述源領(lǐng)域深度學(xué)習(xí)模型的權(quán)重參數(shù)，獲得目標(biāo)領(lǐng)域深度學(xué)習(xí)模型。

優(yōu)選地，所述獲取源領(lǐng)域深度學(xué)習(xí)模型包括：

獲取與目標(biāo)領(lǐng)域類別匹配的源領(lǐng)域深度學(xué)習(xí)模型。

一種模型訓(xùn)練裝置，包括：

獲取模型模塊，用于獲取源領(lǐng)域深度學(xué)習(xí)模型；

獲取數(shù)據(jù)模塊，用于獲取目標(biāo)領(lǐng)域的訓(xùn)練數(shù)據(jù)；

學(xué)習(xí)模型訓(xùn)練模塊，用于利用所述目標(biāo)領(lǐng)域的訓(xùn)練數(shù)據(jù)，調(diào)整所述源領(lǐng)域深度學(xué)習(xí)模型的權(quán)重參數(shù)，獲得目標(biāo)領(lǐng)域深度學(xué)習(xí)模型；

特征提取模塊。用于利用所述目標(biāo)領(lǐng)域深度學(xué)習(xí)模型，提取所述訓(xùn)練數(shù)據(jù)的數(shù)據(jù)特征；

識別模型訓(xùn)練模塊，用于利用所述數(shù)據(jù)特征訓(xùn)練K最近鄰分類模型，獲得識別模型。

優(yōu)選地，所述識別模型訓(xùn)練模塊包括：

降維單元，用于將所述數(shù)據(jù)特征進(jìn)行特征降維，獲得低維度特征；

識別模型訓(xùn)練單元，用于利用所述低維度特征訓(xùn)練K最近鄰分類模型，獲得識別模型。

優(yōu)選地，所述學(xué)習(xí)模型訓(xùn)練模塊包括：

參數(shù)設(shè)置單元，用于將所述源領(lǐng)域深度學(xué)習(xí)模型的權(quán)重參數(shù)作為初始參數(shù)，并設(shè)定低于預(yù)設(shè)率的學(xué)習(xí)率；

學(xué)習(xí)模型訓(xùn)練單元，用于利用所述目標(biāo)領(lǐng)域的訓(xùn)練數(shù)據(jù)以及所述學(xué)習(xí)率，調(diào)整所述源領(lǐng)域深度學(xué)習(xí)模型的權(quán)重參數(shù)，獲得目標(biāo)領(lǐng)域深度學(xué)習(xí)模型。

優(yōu)選地，所述學(xué)習(xí)模型訓(xùn)練單元具體用于利用所述目標(biāo)領(lǐng)域的訓(xùn)練數(shù)據(jù)以及所述學(xué)習(xí)率，按照小于預(yù)設(shè)次數(shù)的調(diào)整次數(shù)，重復(fù)調(diào)整所述源領(lǐng)域深度學(xué)習(xí)模型的權(quán)重參數(shù)，獲得目標(biāo)領(lǐng)域深度學(xué)習(xí)模型。

優(yōu)選地，所述獲取模型模塊具體用于獲取與目標(biāo)領(lǐng)域類別匹配的源領(lǐng)域深度學(xué)習(xí)模型。

與現(xiàn)有技術(shù)相比，本申請可以獲得包括以下技術(shù)效果：