[發(fā)明專利]多層感知機(jī)的生成方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010560645.6
• 申請(qǐng)日: 2020-06-18
• 公開(kāi)（公告）號(hào): CN111914994A
• 公開(kāi)（公告）日: 2020-11-10
• 發(fā)明（設(shè)計(jì)）人: 希滕;張剛;溫圣召
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 石茵汀

本申請(qǐng)公開(kāi)了多層感知機(jī)的生成方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，涉及人工智能技術(shù)和深度學(xué)習(xí)領(lǐng)域，可應(yīng)用于圖像處理。具體方案為：先生成感知機(jī)搜索空間，再根據(jù)感知機(jī)搜索空間生成待訓(xùn)練多層感知機(jī)；接著，對(duì)待訓(xùn)練多層感知機(jī)進(jìn)行訓(xùn)練并進(jìn)行性能評(píng)估，當(dāng)評(píng)估結(jié)果不滿足評(píng)分要求時(shí)對(duì)待訓(xùn)練多層感知機(jī)進(jìn)行迭代更新，直至評(píng)估結(jié)果滿足評(píng)分要求或者對(duì)待訓(xùn)練多層感知機(jī)的迭代更新次數(shù)達(dá)到預(yù)設(shè)迭代次數(shù)。通過(guò)本申請(qǐng)實(shí)現(xiàn)了多層感知機(jī)的自動(dòng)生成，在感知機(jī)搜索空間中進(jìn)行自動(dòng)搜索以生成多層感知機(jī)，可以使得多層感知機(jī)中不同隱藏層之間的感知器是非全連接的，從而能夠降低過(guò)擬合現(xiàn)象出現(xiàn)的概率，保證多感知機(jī)模型的性能，提高多感知機(jī)模型的魯棒性。

技術(shù)領(lǐng)域

本申請(qǐng)的實(shí)施例總體上涉及計(jì)算機(jī)技術(shù)領(lǐng)域，并且更具體地，涉及人工智能技術(shù)和深度學(xué)習(xí)領(lǐng)域，可應(yīng)用于圖像處理。

背景技術(shù)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其目的在于建立模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。近年來(lái)，深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等人工智能技術(shù)研究的多個(gè)方面取得了成功。

深度學(xué)習(xí)技術(shù)中，人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)結(jié)構(gòu)的好壞對(duì)最終模型的效果有非常重要的影響。手工設(shè)計(jì)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)要求設(shè)計(jì)人員具備豐富的經(jīng)驗(yàn)并需要多次嘗試，且當(dāng)參數(shù)較多時(shí)會(huì)產(chǎn)生爆炸性的組合，采用常規(guī)的隨機(jī)搜索算法來(lái)生成網(wǎng)絡(luò)結(jié)構(gòu)的方式可行性較低，因此神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(Neural Architecture Search，NAS)技術(shù)逐漸成為深度學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N多層感知機(jī)的生成方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

根據(jù)第一方面，提供了一種多層感知機(jī)的生成方法，包括：

獲取訓(xùn)練集和驗(yàn)證集，并將所述訓(xùn)練集和所述驗(yàn)證集劃分為K個(gè)訓(xùn)練子集和K個(gè)驗(yàn)證子集，其中，K為正整數(shù)；

生成感知機(jī)搜索空間，根據(jù)所述感知機(jī)搜索空間生成待訓(xùn)練多層感知機(jī)；

根據(jù)所述K個(gè)訓(xùn)練子集對(duì)所述待訓(xùn)練多層感知機(jī)進(jìn)行訓(xùn)練以生成K個(gè)多感知機(jī)模型；

分別使用所述K個(gè)驗(yàn)證子集對(duì)所述K個(gè)多感知機(jī)模型進(jìn)行評(píng)估以生成所述K個(gè)多感知機(jī)模型的評(píng)分值；以及

根據(jù)所述K個(gè)多感知機(jī)模型的評(píng)分值對(duì)所述待訓(xùn)練多層感知機(jī)進(jìn)行N次迭代更新，直至所述K個(gè)多感知機(jī)模型的評(píng)分值滿足評(píng)分要求或者N到達(dá)預(yù)設(shè)迭代次數(shù)，其中，N為正整數(shù)。

根據(jù)第二方面，提供了一種多層感知機(jī)的生成裝置，包括：

獲取模塊，用于獲取訓(xùn)練集和驗(yàn)證集，并將所述訓(xùn)練集和所述驗(yàn)證集劃分為K個(gè)訓(xùn)練子集和K個(gè)驗(yàn)證子集，其中，K為正整數(shù)；

第一生成模塊，用于生成感知機(jī)搜索空間；

第二生成模塊，用于根據(jù)所述感知機(jī)搜索空間生成待訓(xùn)練多層感知機(jī)；

訓(xùn)練模塊，用于根據(jù)所述K個(gè)訓(xùn)練子集對(duì)所述待訓(xùn)練多層感知機(jī)進(jìn)行訓(xùn)練以生成K個(gè)多感知機(jī)模型；

驗(yàn)證模塊，用于分別使用所述K個(gè)驗(yàn)證子集對(duì)所述K個(gè)多感知機(jī)模型進(jìn)行評(píng)估以生成所述K個(gè)多感知機(jī)模型的評(píng)分值；以及

更新模塊，用于根據(jù)所述K個(gè)多感知機(jī)模型的評(píng)分值對(duì)所述待訓(xùn)練多層感知機(jī)進(jìn)行N次迭代更新，直至所述K個(gè)多感知機(jī)模型的評(píng)分值滿足評(píng)分要求或者N到達(dá)預(yù)設(shè)迭代次數(shù)，其中，N為正整數(shù)。

根據(jù)第三方面，提供了一種電子設(shè)備，包括：

至少一個(gè)處理器；以及

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，