[發(fā)明專利]一種模型的獲取方法及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011131434.7
• 申請(qǐng)日: 2020-10-21
• 公開（公告）號(hào): CN112434462A
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計(jì)）人: 王波超;康寧;徐航;黃國位;張維;李震國
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06K9/62;G06N3/04;G06Q10/04;G06F111/04
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 陳松浩

本申請(qǐng)實(shí)施例公開了一種模型的獲取方法及設(shè)備，可應(yīng)用于人工智能領(lǐng)域中的計(jì)算機(jī)視覺領(lǐng)域，該方法包括：通過構(gòu)建的第一預(yù)測器快速預(yù)測基于約束條件構(gòu)建的模型集中每個(gè)模型(根據(jù)第一數(shù)據(jù)集預(yù)訓(xùn)練過)在不同超參數(shù)情況下針對(duì)新任務(wù)的性能表現(xiàn)，并從中選擇滿足預(yù)設(shè)條件(如模型的輸出精度取值最大)的模型和超參數(shù)作為最終處理新任務(wù)(即第二數(shù)據(jù)集)的目標(biāo)模型和目標(biāo)超參數(shù)。針對(duì)新任務(wù)，該方法基于用戶給定的約束條件，可高效選擇出合適的模型和超參數(shù)，節(jié)約了訓(xùn)練時(shí)間和算力成本。在實(shí)際業(yè)務(wù)交付過程中，可在有限時(shí)間針對(duì)一個(gè)新任務(wù)找到合適模型進(jìn)行遷移學(xué)習(xí)，并將其訓(xùn)練到交付要求的精度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及機(jī)器學(xué)習(xí)領(lǐng)域，尤其涉及一種模型的獲取方法及設(shè)備。

背景技術(shù)

人工智能(Artificial Intelligence，AI)是利用計(jì)算機(jī)或者計(jì)算機(jī)控制的機(jī)器模擬、延伸和擴(kuò)展人的智能。人工智能包括研究各種智能機(jī)器的設(shè)計(jì)原理與實(shí)現(xiàn)方法，使機(jī)器具有感知、推理與決策的功能。

遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)的方法，是指把為任務(wù)A(可稱為第一數(shù)據(jù)集)開發(fā)得到的模型作為初始點(diǎn)，重新使用在為新的任務(wù)B(可稱為第二數(shù)據(jù)集)開發(fā)模型的過程中，即將一個(gè)基于任務(wù)A得到的預(yù)訓(xùn)練過的模型重新用在另一任務(wù)B中。然而，對(duì)于一個(gè)新的任務(wù)來說，存在海量的基于某些已有任務(wù)訓(xùn)練得到的模型(即預(yù)訓(xùn)練過的模型)，如何從海量的模型中高效地選擇到一個(gè)適合該新任務(wù)的模型以及一組合適的超參數(shù)是一個(gè)亟待解決的問題。目前，針對(duì)一個(gè)新任務(wù)，利用在已有的相關(guān)任務(wù)(如，ImageNet數(shù)據(jù)集分類任務(wù))基礎(chǔ)上訓(xùn)練好的模型進(jìn)行遷移學(xué)習(xí)(如，fine-tune)是一種高效的技術(shù)，在計(jì)算機(jī)視覺領(lǐng)域被廣泛使用。

現(xiàn)有的一種解決方式是根據(jù)經(jīng)驗(yàn)人工選擇一個(gè)在開放數(shù)據(jù)集(如ImageNet等原數(shù)據(jù)集)上預(yù)訓(xùn)練過的模型，并根據(jù)經(jīng)驗(yàn)選擇一組超參數(shù)(或手工微調(diào)超參數(shù))進(jìn)行遷移學(xué)習(xí)到新任務(wù)中，基于選出的這組超參數(shù)，根據(jù)該新任務(wù)對(duì)選出的這個(gè)模型進(jìn)行再次訓(xùn)練，以期將該模型訓(xùn)練到目標(biāo)精度，但是在原數(shù)據(jù)集上輸出精度高的模型，在遷移學(xué)習(xí)任務(wù)(即第二數(shù)據(jù)集)上不一樣好，如果訓(xùn)練結(jié)果沒有達(dá)到目標(biāo)精度，可能需要重新選擇模型或重新選擇超參數(shù)再次進(jìn)行訓(xùn)練。如圖1所示，整個(gè)流程可能涉及到多次模型選擇和多次超參數(shù)選擇(甚至可能需要人工設(shè)計(jì)新模型)，而每次訓(xùn)練都需要花費(fèi)大量的時(shí)間和算力成本。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種模型的獲取方法及設(shè)備，該方法綜合考慮了模型的選擇和超參數(shù)的選擇，用于通過構(gòu)建的第一預(yù)測器快速預(yù)測基于約束條件構(gòu)建的模型集中每個(gè)模型在不同超參數(shù)情況下針對(duì)新任務(wù)的性能表現(xiàn)，并從中選擇滿足預(yù)設(shè)條件(如，模型的輸出精度取值最大)的模型和超參數(shù)作為最終處理新任務(wù)(即第二數(shù)據(jù)集)的目標(biāo)模型和目標(biāo)超參數(shù)。針對(duì)新任務(wù)，該方法基于用戶給定的約束條件，可高效選擇出合適的模型和超參數(shù)，從而節(jié)約了訓(xùn)練時(shí)間和算力成本。

基于此，本申請(qǐng)實(shí)施例提供以下技術(shù)方案：