[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)可視化方法及相關(guān)設(shè)備

在審

• 申請?zhí)枺?/td>: 202210955213.4
• 申請日: 2022-08-10
• 公開（公告）號: CN115293345A
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計(jì)）人: 郭鐵成
• 申請（專利權(quán)）人: 深圳市皮爬爬信息技術(shù)有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F16/901;G06F16/28;G06F16/22
• 代理公司: 深圳市賽恩倍吉知識產(chǎn)權(quán)代理有限公司 44334
• 代理人: 周志偉

本申請?zhí)峁┮环N神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)可視化方法及相關(guān)設(shè)備，所述方法包括：將訓(xùn)練數(shù)據(jù)作為在數(shù)據(jù)庫中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的輸入；依據(jù)從神經(jīng)網(wǎng)絡(luò)模型的輸入層到輸出層的順序，計(jì)算神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果以及損失函數(shù)值；依據(jù)從所述輸出層到所述輸入層的順序，計(jì)算損失函數(shù)值對輸出結(jié)果的求導(dǎo)結(jié)果；若求導(dǎo)結(jié)果不在預(yù)設(shè)的閾值區(qū)間內(nèi)，對求導(dǎo)結(jié)果對應(yīng)的神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的求導(dǎo)表達(dá)式進(jìn)行分析，得到求導(dǎo)表達(dá)式的結(jié)構(gòu)信息以及結(jié)構(gòu)信息中多個(gè)元素的推導(dǎo)關(guān)聯(lián)關(guān)系；根據(jù)推導(dǎo)關(guān)聯(lián)關(guān)系，構(gòu)建求導(dǎo)表達(dá)式中多個(gè)元素的可視化關(guān)系圖譜。本申請能根據(jù)求導(dǎo)表達(dá)式的結(jié)構(gòu)信息構(gòu)建可視化關(guān)系圖譜，為神經(jīng)網(wǎng)絡(luò)模型調(diào)優(yōu)提供了依據(jù)，提高了調(diào)優(yōu)的效率。

技術(shù)領(lǐng)域

本申請涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)可視化方法及相關(guān)設(shè)備。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)是一種算法數(shù)學(xué)模型，通過調(diào)整模型內(nèi)部大量神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)之間相互連接的關(guān)系，可以達(dá)到處理信息的目的。通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)可以獲取所需要的模型，例如，通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型能獲取識別任務(wù)模型。對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行的訓(xùn)練不是訓(xùn)練一次就能達(dá)到所需要的模型精度，往往需要通過不斷的調(diào)試才能獲取較優(yōu)的模型。現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)可視化方法雖然有一定的可視化能力，然而，通常難以直接定位需要調(diào)優(yōu)的神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)，往往需要點(diǎn)擊每層神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)，才能展示出神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以達(dá)到調(diào)試的目的，這類方法訓(xùn)練效率低下，不僅導(dǎo)致了較高的人工成本，還進(jìn)一步增加了訓(xùn)練模型的時(shí)間。

發(fā)明內(nèi)容

本申請實(shí)施例公開了一種神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)可視化方法及相關(guān)設(shè)備，解決了神經(jīng)網(wǎng)絡(luò)模型調(diào)優(yōu)效率低的問題。

本申請?zhí)峁┮环N神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)可視化方法，所述方法包括：

獲取訓(xùn)練數(shù)據(jù)并輸入數(shù)據(jù)庫中，將所述訓(xùn)練數(shù)據(jù)作為在所述數(shù)據(jù)庫中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的輸入；

依據(jù)從所述神經(jīng)網(wǎng)絡(luò)模型的輸入層到輸出層的順序，計(jì)算所述神經(jīng)網(wǎng)絡(luò)模型的每個(gè)神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的輸出結(jié)果和所述神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)值；

根據(jù)所述損失函數(shù)值以及所述輸出結(jié)果，依據(jù)從所述輸出層到所述輸入層的順序，計(jì)算所述損失函數(shù)值對所述輸出結(jié)果的求導(dǎo)結(jié)果；

若所述求導(dǎo)結(jié)果不在預(yù)設(shè)的閾值區(qū)間內(nèi)，獲取所述求導(dǎo)結(jié)果對應(yīng)的神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的求導(dǎo)表達(dá)式；

對所述求導(dǎo)表達(dá)式的結(jié)構(gòu)進(jìn)行分析，得到所述求導(dǎo)表達(dá)式的結(jié)構(gòu)信息，根據(jù)所述結(jié)構(gòu)信息得到所述求導(dǎo)表達(dá)式中多個(gè)元素的推導(dǎo)關(guān)聯(lián)關(guān)系；

根據(jù)所述推導(dǎo)關(guān)聯(lián)關(guān)系，構(gòu)建所述求導(dǎo)表達(dá)式中多個(gè)元素的可視化關(guān)系圖譜。

在一些可選的實(shí)施方式中，所述對所述求導(dǎo)表達(dá)式的結(jié)構(gòu)進(jìn)行分析，得到所述求導(dǎo)表達(dá)式的結(jié)構(gòu)信息，包括：

對所述求導(dǎo)表達(dá)式的結(jié)構(gòu)對應(yīng)的信息組成進(jìn)行分析，確定所述結(jié)構(gòu)信息，其中，所述結(jié)構(gòu)信息包括：所述求導(dǎo)表達(dá)式的結(jié)構(gòu)包含的運(yùn)算符類型以及所述運(yùn)算符類型在所述求導(dǎo)表達(dá)式中的第一位置，所述求導(dǎo)表達(dá)式的結(jié)構(gòu)包含的多個(gè)元素以及所述多個(gè)元素在所述求導(dǎo)表達(dá)式中的第二位置。

在一些可選的實(shí)施方式中，所述根據(jù)所述結(jié)構(gòu)信息得到所述求導(dǎo)表達(dá)式中多個(gè)元素的推導(dǎo)關(guān)聯(lián)關(guān)系，包括：

根據(jù)所述運(yùn)算符類型、所述第一位置、所述多個(gè)元素以及所述第二位置，確定所述多個(gè)元素之間的推導(dǎo)關(guān)聯(lián)關(guān)系。

在一些可選的實(shí)施方式中，在所述數(shù)據(jù)庫中創(chuàng)建求導(dǎo)關(guān)系表，所述根據(jù)所述推導(dǎo)關(guān)聯(lián)關(guān)系，構(gòu)建所述求導(dǎo)表達(dá)式中多個(gè)元素的可視化關(guān)系圖譜，包括：

根據(jù)所述推導(dǎo)關(guān)聯(lián)關(guān)系，確定所述多個(gè)元素之間的連接關(guān)系以及所述連接關(guān)系對應(yīng)的指向路徑，所述指向路徑為根據(jù)預(yù)設(shè)的計(jì)算規(guī)則，從所述連接關(guān)系中的第一元素推導(dǎo)至第二元素對應(yīng)的路徑；

將所述連接關(guān)系以及所述指向路徑寫入所述求導(dǎo)關(guān)系表；