[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、處理器及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010001416.0
• 申請日: 2020-01-02
• 公開（公告）號: CN111191766B
• 公開（公告）日: 2023-05-16
• 發(fā)明（設(shè)計(jì)）人: 楊龔軼凡;鄭瀚尋;闖小明;曾昭睿;周遠(yuǎn)航
• 申請（專利權(quán)）人: 中昊芯英（杭州）科技有限公司
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 北京箴思知識產(chǎn)權(quán)代理有限公司 11913
• 代理人: 李春暉;譚艷

本發(fā)明公開了一種數(shù)據(jù)處理方法、裝置、處理器以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本發(fā)明采用反向移位單元與擬合運(yùn)算電路配合，快速、高效地處理數(shù)據(jù)，以滿足神經(jīng)網(wǎng)絡(luò)對于非線性度的需求，從而提高神經(jīng)網(wǎng)絡(luò)對于復(fù)雜函數(shù)的逼近能力。相較于現(xiàn)有技術(shù)單純僅采用擬合運(yùn)算電路進(jìn)行全區(qū)間擬合運(yùn)算以擬合特定函數(shù)的函數(shù)值的方式，本發(fā)明不僅能夠通過減少擬合參數(shù)的使用從而減少硬件資源開銷，還能夠通過減少擬合運(yùn)算電路匹配擬合參數(shù)的時(shí)間，從而加快數(shù)據(jù)處理裝置對于數(shù)據(jù)的處理速度。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域，具體涉及一種數(shù)據(jù)處理方法、裝置、處理器以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)應(yīng)用場景中，我們用神經(jīng)網(wǎng)絡(luò)來表述輸入與輸出之間的復(fù)雜關(guān)系。用數(shù)學(xué)語言來說，就是用人工神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)復(fù)雜的函數(shù)。神經(jīng)網(wǎng)絡(luò)由多層的神經(jīng)元構(gòu)成，每個(gè)神經(jīng)元中都有一個(gè)激活函數(shù)，神經(jīng)元會(huì)同時(shí)接收多個(gè)輸入并將它們統(tǒng)一起來，然后使用激活函數(shù)處理后進(jìn)行輸出，使輸入與輸出之間存在一定的映射關(guān)系，如果每個(gè)神經(jīng)元中的激活函數(shù)均是線性函數(shù)，則輸入與輸出之間的映射關(guān)系均是線性的，那么神經(jīng)網(wǎng)絡(luò)只是將多個(gè)輸入經(jīng)過線性組合再輸出，即神經(jīng)網(wǎng)絡(luò)缺乏非線性度，對于復(fù)雜函數(shù)的逼近能力十分有限。

為了讓神經(jīng)網(wǎng)絡(luò)對于復(fù)雜函數(shù)的表達(dá)能力更加強(qiáng)大，需要引入非線性激活函數(shù)進(jìn)行神經(jīng)網(wǎng)絡(luò)的構(gòu)建。要引入非線性函數(shù)用于神經(jīng)網(wǎng)絡(luò)，相當(dāng)于要擬合出非線性函數(shù)的函數(shù)值。通常來說，現(xiàn)有技術(shù)擬合非線性函數(shù)的函數(shù)值一般采用通用型處理器進(jìn)行計(jì)算，效率低下。即使采用專用的擬合電路，其需要的擬合區(qū)間龐大、涉及的擬合參數(shù)繁多，導(dǎo)致存儲(chǔ)資源開銷高、電路面積大，同時(shí)其數(shù)據(jù)處理速度難以滿足神經(jīng)網(wǎng)絡(luò)的需求。

發(fā)明內(nèi)容

針對上述問題，為滿足神經(jīng)網(wǎng)絡(luò)對于非線性度的需求，以專用電路結(jié)合僅配置了特定擬合區(qū)間的擬合運(yùn)算電路的方案替換配置全區(qū)間的擬合運(yùn)算電路方案為基礎(chǔ)，提供了一整套提高神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)處理能力的解決措施，顯著減少硬件資源的開銷。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的第一方面，提供一種數(shù)據(jù)處理方法，該方法應(yīng)用于神經(jīng)網(wǎng)絡(luò)。提供擬合運(yùn)算電路，擬合運(yùn)算電路用于調(diào)用擬合參數(shù)對數(shù)據(jù)進(jìn)行擬合運(yùn)算；提供特定函數(shù)定義域內(nèi)的至少一個(gè)特定擬合區(qū)間，特定擬合區(qū)間對應(yīng)至少一組擬合參數(shù)；提供輸入數(shù)據(jù)x，輸入數(shù)據(jù)x為標(biāo)準(zhǔn)化的浮點(diǎn)數(shù)，輸入數(shù)據(jù)x包括有效數(shù)字、指數(shù)和符號。本發(fā)明提供的數(shù)據(jù)處理方法包括以下步驟：

步驟S10:獲取輸入數(shù)據(jù)x，并基于該輸入數(shù)據(jù)x的有效數(shù)字、指數(shù)和符號判斷輸入數(shù)據(jù)x是否位于特定擬合區(qū)間；

若輸入數(shù)據(jù)x位于特定擬合區(qū)間內(nèi)，使用擬合運(yùn)算電路調(diào)用擬合參數(shù)對輸入數(shù)據(jù)x進(jìn)行擬合運(yùn)算得到擬合運(yùn)算結(jié)果，并基于擬合運(yùn)算結(jié)果得到最終運(yùn)算結(jié)果；

若輸入數(shù)據(jù)x位于特定擬合區(qū)間外，則跳過直接調(diào)用擬合運(yùn)算電路處理輸入數(shù)據(jù)x的步驟，直接執(zhí)行步驟S20；

步驟S20:對輸入數(shù)據(jù)x進(jìn)行移位處理，得到移位數(shù)據(jù)x’；移位處理包括，獲取移位數(shù)據(jù)x’的指數(shù)t，t為整數(shù)，然后計(jì)算輸入數(shù)據(jù)x的指數(shù)與指數(shù)t的差值；之后基于該差值對輸入數(shù)據(jù)x的有效數(shù)字進(jìn)行移位，得到移位數(shù)據(jù)x’的有效數(shù)字；

步驟S30:基于移位數(shù)據(jù)x’獲取擬合部x₁和非擬合部x₂，擬合部x₁與非擬合部x₂的和等于移位數(shù)據(jù)x’；其中，擬合部x₁的有效數(shù)字等于移位數(shù)據(jù)x’的有效數(shù)字的小數(shù)部分加上整數(shù)r，擬合部x₁位于特定擬合區(qū)間內(nèi)；非擬合部x₂的有效數(shù)字等于移位數(shù)據(jù)x’的有效數(shù)字的整數(shù)部分減去整數(shù)r；

步驟S40:使用擬合運(yùn)算電路調(diào)用擬合參數(shù)對擬合部x₁進(jìn)行擬合運(yùn)算，得到第一運(yùn)算結(jié)果f(x₁)；

步驟S50:基于非擬合部x₂對第一運(yùn)算結(jié)果f(x₁)進(jìn)行反向移位處理得到最終運(yùn)算結(jié)果。