[發(fā)明專利]一種抑制存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片過擬合的方法

在審

• 申請?zhí)枺?/td>: 202310430280.9
• 申請日: 2023-04-11
• 公開（公告）號: CN116523008A
• 公開（公告）日: 2023-08-01
• 發(fā)明（設計）人: 柴正;石光明;高亞威;閔泰
• 申請（專利權）人: 鵬城實驗室;西安交通大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/044;G06N3/0442;G06N3/0464;G06N3/0499;G06N3/048;G06N3/084;G06F15/78
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 覃婧嬋

本公開揭示了一種抑制存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片過擬合的方法，包括如下步驟：包括：捕捉存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片工作時產(chǎn)生的第一噪聲信號；對第一噪聲信號的采樣間隔進行調(diào)整，以獲得具有新采樣間隔的第二噪聲信號；對第二噪聲信號的信噪比進行調(diào)整，以獲得具有新信噪比的第三噪聲信號；將第三噪聲信號注入存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片，以實現(xiàn)對存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片過擬合進行抑制。

技術領域

本公開屬于人工智能領域，具體涉及一種抑制存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片過擬合的方法及裝置。

背景技術

傳統(tǒng)的神經(jīng)網(wǎng)絡軟件實現(xiàn)是基于馮諾依曼計算體系和CMOS工藝的串行計算。在該計算體系中，計算與存儲是分離的單元，數(shù)據(jù)從處理單元外的存儲器提取，處理完之后再寫回存儲器，一個無法回避的現(xiàn)實是，運算單元與內(nèi)存之間的性能差距越來越大，內(nèi)存子系統(tǒng)成為芯片整體處理能力提高的障礙，也就是通常所說的“內(nèi)存墻”。人工智能工作負載多是數(shù)據(jù)密集型，需要大量的存儲和各層次存儲器間的數(shù)據(jù)搬移，導致“內(nèi)存墻”問題更加突出，也就導致了軟件實現(xiàn)的人工神經(jīng)網(wǎng)絡算力、能效低。

由于人工神經(jīng)網(wǎng)絡涉及大規(guī)模矩陣運算，因此直接在芯片上利用更細粒度級別的并行性的計算范式很有吸引力。一種有前途的解決方案是存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片，它利用了神經(jīng)元中的分布式計算和突觸中的本地化存儲。基于存內(nèi)計算和CMOS兼容工藝的并行計算可以提供高的算力和能效。

人工神經(jīng)網(wǎng)絡在輸入和輸出之間使用了多層非線性“隱藏”單元。每個單元都有一個在學習過程中確定的權重，稱之為訓練階段。在訓練階段，神經(jīng)網(wǎng)絡處理一組訓練數(shù)據(jù)(一組訓練輸入，每個輸入都有一個對應的已知輸出)。因此，神經(jīng)網(wǎng)絡通過訓練階段從訓練數(shù)據(jù)中學習到的信息進行歸納，學習如何為新的輸入數(shù)據(jù)提供輸出。通常，學習完成后，神經(jīng)網(wǎng)絡會對學習結果進行驗證集的處理，從而對學習結果進行驗證。

學習的目的是調(diào)整神經(jīng)網(wǎng)絡連接權重，使其能夠在給定輸入向量時預測正確的輸出。如果輸入和正確輸出之間的關系很復雜，并且網(wǎng)絡有足夠多的隱藏單元來準確地建模，那么通常會有許多不同的權重設置可以幾乎完美地建模訓練集，特別是在訓練數(shù)據(jù)非常有限的情況下。幾乎所有訓練好的神經(jīng)網(wǎng)絡在驗證數(shù)據(jù)上的表現(xiàn)都比在訓練數(shù)據(jù)上差，因為權重已經(jīng)被調(diào)整以很好地在訓練數(shù)據(jù)上工作，而不是在驗證數(shù)據(jù)上。

這是因為過擬合問題，過擬合對訓練數(shù)據(jù)的預測誤差非常低，但對驗證數(shù)據(jù)的預測誤差卻非常高，這會導致模型精度下降，是用有限數(shù)據(jù)集訓練的神經(jīng)網(wǎng)絡的一個常見和關鍵的挑戰(zhàn)。一般來說，隨著神經(jīng)網(wǎng)絡復雜度的增加，過擬合問題越來越容易發(fā)生。

傳統(tǒng)神經(jīng)網(wǎng)絡的過擬合解決方案主要是基于軟件實現(xiàn)的正則化算法，如Dropout、L1正則化、L2正則化等。在基于硬件(包括但不限于晶體管、存儲器及運算放大器)發(fā)展的存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片中實現(xiàn)基于軟件的正則化可能是困難的，因為需要設計復雜的外圍電路，這將給存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片帶來額外的電路面積和能量消耗。

發(fā)明內(nèi)容

針對現(xiàn)有技術中的不足，本公開的目的在于提供一種抑制存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片過擬合的方法，該方法能夠利用存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片自身產(chǎn)生的噪聲信號對存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片的過擬合進行抑制，不需要使用外圍電路，從而能夠避免給存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片帶來額外的電路面積和能量消耗。

為實現(xiàn)上述目的，本公開提供以下技術方案：

一種抑制存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片過擬合的方法，包括如下步驟：

S100：捕捉存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片工作時產(chǎn)生的第一噪聲信號；

S200：對第一噪聲信號的采樣間隔進行調(diào)整，以獲得具有新采樣間隔的第二噪聲信號；

S300：對第二噪聲信號的信噪比進行調(diào)整，以獲得具有新信噪比的第三噪聲信號；

S400：將第三噪聲信號注入存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片，以實現(xiàn)對存內(nèi)計算架構神經(jīng)網(wǎng)絡芯片過擬合進行抑制。