[發(fā)明專利]一種神經(jīng)網(wǎng)絡構建方法以及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010425173.3
• 申請日: 2020-05-19
• 公開（公告）號: CN111783937A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設計）人: 林耘豐;李桂林;張星;張偉楠;李震國
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 聶秀娜

本申請公開了人工智能領域的一種神經(jīng)網(wǎng)絡構建方法以及系統(tǒng)，用于通過將初始骨干網(wǎng)絡中的部分基本單元替換為占位模塊的方式來構建目標神經(jīng)網(wǎng)絡，從而可以根據(jù)不同的場景構建出不同的目標神經(jīng)網(wǎng)絡，泛化能力強，且用戶友好。該方法包括：獲取初始骨干網(wǎng)絡和候選集；將初始骨干網(wǎng)絡中的至少一個基本單元替換為至少一個占位模塊，得到待定網(wǎng)絡；根據(jù)候選集進行采樣得到至少一個采樣結構的信息；根據(jù)待定網(wǎng)絡和至少一個采樣結構的信息獲取網(wǎng)絡模型，至少一個采樣結構的信息用于確定至少一個占位模塊的結構。

技術領域

本申請涉及人工智能領域，尤其涉及一種神經(jīng)網(wǎng)絡構建方法以及系統(tǒng)。

背景技術

在人工智能領域中，神經(jīng)網(wǎng)絡近年來在圖像、視頻和語音等多種媒體信號的處理與分析任務中取得了卓越的成就。一個性能良好的神經(jīng)網(wǎng)絡往往擁有精妙的網(wǎng)絡架構，需要具有高超技能和豐富經(jīng)驗的人類專家花費大量精力進行設計。對于普通非專家用戶而言，針對具體問題進行神經(jīng)網(wǎng)絡的設計是不現(xiàn)實的。骨干網(wǎng)絡是神經(jīng)網(wǎng)絡中的重要的網(wǎng)絡架構，與神經(jīng)網(wǎng)絡的具體任務通常并無關聯(lián)，如可以是針對大部分任務都需要的特征提取網(wǎng)絡或殘差網(wǎng)絡等。例如，常用計算機視覺任務主要用于目標檢測以及語義分割，通?？梢韵韧ㄟ^骨干網(wǎng)絡對輸入信息進行特征提取，然后將提取到的特征輸入到預測模塊，得到預測結果。而隨著待處理場景的復雜度增加，對骨干網(wǎng)絡特征提取能力的需求也增加，對骨干網(wǎng)絡的設計難度也隨之增加。

已經(jīng)提出了一些方案用于模型的架構搜索，然而，現(xiàn)有方案中的架構搜索通常只針對單一任務，不同的場景則需要重新設計或者重新搜索網(wǎng)絡架構。因此在面向新應用場景進行遷移的過程中需要大量的重構，調試的時間開銷大。

發(fā)明內容

本申請?zhí)峁┝艘环N神經(jīng)網(wǎng)絡構建方法以及系統(tǒng)，用于通過將初始骨干網(wǎng)絡中的部分基本單元替換為占位模塊的方式來構建目標神經(jīng)網(wǎng)絡，從而可以根據(jù)不同的場景構建出不同的目標神經(jīng)網(wǎng)絡，泛化能力強，且用戶友好。

第一方面，本申請?zhí)峁┮环N神經(jīng)網(wǎng)絡構建方法，包括：獲取初始骨干網(wǎng)絡和候選集，初始骨干網(wǎng)絡用于構建目標神經(jīng)網(wǎng)絡；將初始骨干網(wǎng)絡中的至少一個基本單元替換為至少一個占位模塊，得到待定網(wǎng)絡，候選集中包括與至少一個占位模塊對應的多種結構的參數(shù)；根據(jù)候選集進行采樣，得到至少一個采樣結構的信息；根據(jù)待定網(wǎng)絡和至少一個采樣結構的信息獲取網(wǎng)絡模型，其中，至少一個采樣結構的信息用于確定至少一個占位模塊的結構；若網(wǎng)絡模型符合預設條件，則將網(wǎng)絡模型作為目標神經(jīng)網(wǎng)絡。

因此，本申請實施方式中，通過在骨干網(wǎng)絡中設置占位模塊，改變占位模塊的結構來改變骨干網(wǎng)絡的結構?？梢葬槍Σ煌膱鼍皝砀淖冋嘉荒K的結構或者位置等，可以適應不同的場景，泛化能力強。并且，即使在面向新的應用場景，也無需進行大量的遷移或者重構，降低了代碼的調試時間，提高用戶體驗。此外，本申請實施方式中，用戶可以僅提供初始骨干網(wǎng)絡，或者可選地還提供候選集，本申請實施方式提供的神經(jīng)網(wǎng)絡構建方法，即可得到滿足預設條件的目標神經(jīng)網(wǎng)絡，降低了用戶的學習難度，易用性高，提供了一種用戶友好的神經(jīng)網(wǎng)絡構建方法。

在一種可能的實施方式中，若網(wǎng)絡模型不符合預設條件，則重新根據(jù)候選集進行采樣，并根據(jù)重新采樣得到的至少一個采樣結構的信息更新網(wǎng)絡模型。

因此，本申請實施方式中，當網(wǎng)絡模型不符合預設條件時，可以重新根據(jù)候選集進行采樣，從而通過重新改變占位模塊的結構或者位置等，得到更新后的網(wǎng)絡模型，進一步提高得到符合預設條件的網(wǎng)絡模型的可能性。

在一種可能的實施方式中，在根據(jù)候選集進行采樣，得到至少一個采樣結構的信息之前，該方法還包括：根據(jù)候選集構建參數(shù)空間，參數(shù)空間中包括與候選集中的多種結構的參數(shù)對應的架構參數(shù)；上述的根據(jù)候選集進行采樣，得到至少一個采樣結構的信息，可以包括：對參數(shù)空間進行采樣，得到與至少一個采樣結構對應的至少一組采樣參數(shù)。