[發(fā)明專利]用于生成識別模型的方法和裝置

在審

• 申請?zhí)枺?/td>: 201910741129.0
• 申請日: 2019-08-12
• 公開（公告）號: CN112348162A
• 公開（公告）日: 2021-02-09
• 發(fā)明（設(shè)計）人: 姚霆;梅濤
• 申請（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/06;G06K9/62
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本公開的實施例公開了用于生成識別模型的方法和裝置。該方法包括：獲取基于神經(jīng)網(wǎng)絡(luò)構(gòu)建的初始模型和樣本數(shù)據(jù)集；基于樣本數(shù)據(jù)集迭代訓(xùn)練初始模型，在迭代訓(xùn)練過程中，按照預(yù)設(shè)的時間表執(zhí)行結(jié)構(gòu)搜索操作，預(yù)設(shè)的時間表用于指示迭代過程中確定神經(jīng)元之間的轉(zhuǎn)換操作的時刻，預(yù)設(shè)的時間表與已完成的迭代操作的迭代次數(shù)關(guān)聯(lián)，結(jié)構(gòu)搜索操作包括基于初始模型在迭代操作中被更新得到的參數(shù)，從預(yù)設(shè)的操作集合中確定出初始模型中的神經(jīng)元之間的轉(zhuǎn)換操作；基于訓(xùn)練完成后得到的初始模型中的各神經(jīng)元之間的轉(zhuǎn)換操作和訓(xùn)練完成后得到的初始模型的參數(shù)，生成識別模型。該方法實現(xiàn)了用于識別任務(wù)的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)的自動設(shè)計。

技術(shù)領(lǐng)域

本公開的實施例涉及計算機技術(shù)領(lǐng)域，具體涉及人工智能技術(shù)領(lǐng)域，尤其涉及用于生成識別模型的方法和裝置。

背景技術(shù)

隨著人工智能技術(shù)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)被廣泛地應(yīng)用在各個領(lǐng)域中。例如在典型的視頻識別場景中，深度神經(jīng)網(wǎng)絡(luò)的發(fā)展推動了視頻識別的極限，取得了顯著的效果。

為了確保深度神經(jīng)網(wǎng)絡(luò)在識別任務(wù)中達(dá)到良好的效果，需要在有效且通用的網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，通過迭代訓(xùn)練調(diào)整網(wǎng)絡(luò)的參數(shù)來優(yōu)化模型。目前，深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)一般是根據(jù)專家經(jīng)驗進行設(shè)計的，這需要耗費大量的時間，并且依賴于大量的人類專家工程。

發(fā)明內(nèi)容

本公開的實施例提出了用于生成識別模型的方法和裝置、用于識別多媒體數(shù)據(jù)的方法和裝置、電子設(shè)備和計算機可讀介質(zhì)。

第一方面，本公開的實施例提供了一種用于生成識別模型的方法，包括：獲取基于神經(jīng)網(wǎng)絡(luò)構(gòu)建的初始模型和樣本數(shù)據(jù)集；基于樣本數(shù)據(jù)集迭代訓(xùn)練初始模型，在迭代訓(xùn)練過程中，按照預(yù)設(shè)的時間表執(zhí)行結(jié)構(gòu)搜索操作，預(yù)設(shè)的時間表用于指示迭代過程中確定神經(jīng)元之間的轉(zhuǎn)換操作的時刻，預(yù)設(shè)的時間表與已完成的迭代操作的迭代次數(shù)關(guān)聯(lián)，結(jié)構(gòu)搜索操作包括基于初始模型在迭代操作中被更新得到的參數(shù)，從預(yù)設(shè)的操作集合中確定出初始模型中的神經(jīng)元之間的轉(zhuǎn)換操作；基于訓(xùn)練完成后得到的初始模型中的各神經(jīng)元之間的轉(zhuǎn)換操作和訓(xùn)練完成后得到的初始模型的參數(shù)，生成識別模型。

在一些實施例中，上述方法還包括：將初始模型中的神經(jīng)元之間的轉(zhuǎn)換操作初始化為預(yù)設(shè)的操作集合中各候選操作的加權(quán)歸一化指數(shù)函數(shù)；以及上述按照預(yù)設(shè)的時間表執(zhí)行結(jié)構(gòu)搜索操作，包括：響應(yīng)于確定預(yù)設(shè)的時間表指示當(dāng)前時刻為確定神經(jīng)元之間的轉(zhuǎn)換操作的時刻，選擇待確定相互間的轉(zhuǎn)換操作的目標(biāo)神經(jīng)元，從當(dāng)前迭代操作得到的初始模型的參數(shù)所包含的各候選操作的權(quán)重中確定出權(quán)重最大的候選操作，作為確定出的目標(biāo)神經(jīng)元之間的轉(zhuǎn)換操作。

在一些實施例中，上述初始模型包括相互連接的多個計算單元，每個計算單元包括至少兩個神經(jīng)元；上述方法還包括：對每個計算單元，將計算單元中的神經(jīng)元作為節(jié)點構(gòu)建有向圖，有向圖中連接兩個節(jié)點的有向邊表征被連接的兩個神經(jīng)元之間的轉(zhuǎn)換操作；上述預(yù)設(shè)的時間表包括：有向圖中已確定的有向邊的數(shù)量與已完成的迭代操作的迭代次數(shù)之間的對應(yīng)關(guān)系；以及上述按照預(yù)設(shè)的時間表執(zhí)行結(jié)構(gòu)搜索操作，包括：基于時間表確定當(dāng)前迭代操作對應(yīng)的有向圖中已確定的有向邊的數(shù)量；響應(yīng)于當(dāng)前迭代操作對應(yīng)的有向圖中已確定的有向邊的數(shù)量與上一次迭代操作對應(yīng)的有向圖中已確定的有向邊的數(shù)量的差值不小于1，基于對應(yīng)的計算單元在當(dāng)前迭代操作中被更新后的參數(shù)，選定有向圖中未確定的至少一條有向邊，從預(yù)設(shè)的操作集合中確定出被選定的有向邊對應(yīng)的轉(zhuǎn)換操作，并將被選定的有向邊添加至已確定的有向邊集合。

在一些實施例中，上述按照預(yù)設(shè)的時間表執(zhí)行結(jié)構(gòu)搜索操作，還包括：響應(yīng)于當(dāng)前迭代操作對應(yīng)的有向圖中已確定的有向邊的數(shù)量與上一次迭代操作對應(yīng)的有向圖中已確定的有向邊的數(shù)量的差值小于1，執(zhí)行下一次迭代操作。

在一些實施例中，上述有向圖中已確定的有向邊的數(shù)量與已完成的迭代操作的迭代次數(shù)之間的對應(yīng)關(guān)系包括：以已完成的迭代操作的迭代次數(shù)作為自變量，以有向圖中已確定的有向邊的數(shù)量作為因變量的函數(shù)。

在一些實施例中，上述初始模型還包括預(yù)先設(shè)定的基本層。