[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、處理器及計算機可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010001364.7
• 申請日: 2020-01-02
• 公開（公告）號: CN110796247B
• 公開（公告）日: 2020-05-19
• 發(fā)明（設(shè)計）人: 鄭瀚尋;楊龔軼凡;闖小明;曾昭睿;周遠航
• 申請（專利權(quán)）人: 深圳芯英科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種數(shù)據(jù)處理方法、裝置、處理器以及計算機可讀存儲介質(zhì)。本發(fā)明采用函數(shù)值映射電路與擬合運算電路配合，快速、高效地處理數(shù)據(jù)，以滿足神經(jīng)網(wǎng)絡(luò)對于非線性度的需求，從而提高神經(jīng)網(wǎng)絡(luò)對于復(fù)雜函數(shù)的逼近能力。相較于現(xiàn)有技術(shù)單純僅采用擬合運算電路進行全區(qū)間擬合運算以擬合特定函數(shù)的函數(shù)值的方式，本發(fā)明不僅能夠通過減少擬合參數(shù)的使用從而減少硬件資源開銷，還能夠通過減少擬合運算電路匹配擬合參數(shù)的時間，從而加快數(shù)據(jù)處理裝置對于數(shù)據(jù)的處理速度。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域，具體涉及一種數(shù)據(jù)處理方法、裝置、處理器以及計算機可讀存儲介質(zhì)。

背景技術(shù)

在神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)應(yīng)用場景中，我們用神經(jīng)網(wǎng)絡(luò)來表述輸入與輸出之間的復(fù)雜關(guān)系。用數(shù)學(xué)語言來說，就是用人工神經(jīng)網(wǎng)絡(luò)來實現(xiàn)復(fù)雜的函數(shù)。神經(jīng)網(wǎng)絡(luò)由多層的神經(jīng)元構(gòu)成，每個神經(jīng)元中都有一個激活函數(shù)，神經(jīng)元會同時接收多個輸入并將它們統(tǒng)一起來，然后使用激活函數(shù)處理后進行輸出，使輸入與輸出之間存在一定的映射關(guān)系，如果每個神經(jīng)元中的激活函數(shù)均是線性函數(shù)，則輸入與輸出之間的映射關(guān)系均是線性的，那么神經(jīng)網(wǎng)絡(luò)只是將多個輸入經(jīng)過線性組合再輸出，即神經(jīng)網(wǎng)絡(luò)缺乏非線性度，對于復(fù)雜函數(shù)的逼近能力十分有限。

為了讓神經(jīng)網(wǎng)絡(luò)對于復(fù)雜函數(shù)的表達能力更加強大，需要引入非線性激活函數(shù)進行神經(jīng)網(wǎng)絡(luò)的構(gòu)建。要引入非線性函數(shù)用于神經(jīng)網(wǎng)絡(luò)，相當于要擬合出非線性函數(shù)的函數(shù)值。通常來說，現(xiàn)有技術(shù)擬合非線性函數(shù)的函數(shù)值一般采用通用型處理器進行計算，效率低下。即使采用專用的擬合電路，其需要的擬合區(qū)間龐大、涉及的擬合參數(shù)繁多，導(dǎo)致存儲資源開銷高、電路面積大，同時其數(shù)據(jù)處理速度難以滿足神經(jīng)網(wǎng)絡(luò)的需求。

發(fā)明內(nèi)容

針對上述問題，為滿足神經(jīng)網(wǎng)絡(luò)對于非線性度的需求，以專用電路結(jié)合僅配置了特定擬合區(qū)間的擬合運算電路的方案替換配置全區(qū)間的擬合運算電路方案為基礎(chǔ)，提供了一整套提高神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)處理能力的解決措施，顯著減少硬件資源的開銷。

為實現(xiàn)上述目的，根據(jù)本發(fā)明的第一方面，提供一種數(shù)據(jù)處理方法，該方法應(yīng)用于神經(jīng)網(wǎng)絡(luò)。提供乘法器、擬合運算電路和函數(shù)值映射電路，擬合運算電路用于調(diào)用擬合參數(shù)對數(shù)據(jù)進行擬合運算；函數(shù)值映射電路用于根據(jù)索引匹配對應(yīng)的數(shù)值。同時，提供特定函數(shù)定義域內(nèi)的至少一個特定擬合區(qū)間，特定擬合區(qū)間僅包括非負數(shù)，特定擬合區(qū)間對應(yīng)至少一組擬合參數(shù)，擬合運算電路僅處理位于特定擬合區(qū)間內(nèi)的數(shù)據(jù)；并提供輸入數(shù)據(jù)x，輸入數(shù)據(jù)x為標準化的浮點數(shù)，輸入數(shù)據(jù)x包括有效數(shù)字、指數(shù)和符號。本發(fā)明提供的數(shù)據(jù)處理方法包括以下步驟：

步驟S10:獲取輸入數(shù)據(jù)x，將其符號固化為正，得到輸入數(shù)據(jù)x的絕對值|x|。

步驟S20:判斷絕對值|x|是否位于特定擬合區(qū)間；

若絕對值|x|位于特定擬合區(qū)間內(nèi)，使用擬合運算電路對絕對值|x|進行擬合運算得到擬合運算結(jié)果，并基于擬合運算結(jié)果得到最終運算結(jié)果；

若絕對值|x|位于特定擬合區(qū)間外，則跳過直接調(diào)用擬合運算電路處理絕對值|x|的步驟，執(zhí)行步驟S30。

步驟S30:對絕對值|x|進行移位處理，得到移位數(shù)據(jù)x’。移位處理包括，以輸入數(shù)據(jù)x的指數(shù)作為絕對值|x|的指數(shù)，并獲取移位數(shù)據(jù)x’的指數(shù)t，t為整數(shù)，然后計算絕對值|x|的指數(shù)與指數(shù)t的差值，然后基于該差值對絕對值|x|的有效數(shù)字進行移位，得到移位數(shù)據(jù)x’的有效數(shù)字。

步驟S40:基于移位數(shù)據(jù)x’獲取擬合部x₁和非擬合部x₂，擬合部x₁與非擬合部x₂的和等于移位數(shù)據(jù)x’。其中，擬合部x₁的有效數(shù)字等于移位數(shù)據(jù)x’的有效數(shù)字的小數(shù)部分加r，擬合部x₁位于特定擬合區(qū)間內(nèi)；非擬合部x₂的有效數(shù)字等于移位數(shù)據(jù)x’的有效數(shù)字的整數(shù)部分減r。