[發(fā)明專利]實(shí)現(xiàn)softmax的電路裝置及生成softmax代碼的方法

在審

• 申請?zhí)枺?/td>: 202110756617.6
• 申請日: 2021-07-05
• 公開（公告）號: CN113485673A
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 譚黎敏;崔衛(wèi)東;趙釗
• 申請（專利權(quán)）人: 上海西井信息科技有限公司
• 主分類號: G06F7/483
• 分類號: G06F7/483;G06F8/41;G06N20/00
• 代理公司: 上海隆天律師事務(wù)所 31282
• 代理人: 潘一諾

本發(fā)明提供一種實(shí)現(xiàn)softmax的電路裝置及生成softmax代碼的方法，實(shí)現(xiàn)softmax的電路裝置包括：最大值模塊，配置成從輸入值中選取最大值；第一差值計(jì)算模塊，配置成計(jì)算各所述輸入值和所述最大值的第一差值；第一指數(shù)計(jì)算模塊，配置成計(jì)算所述第一差值的第一指數(shù)值；累加模塊，配置成執(zhí)行所述第一差值的第一指數(shù)值的累加獲得累加值；對數(shù)計(jì)算模塊，配置成計(jì)算所述累加值的對數(shù)值；第二差值計(jì)算模塊，配置成計(jì)算所述第一差值和所述對數(shù)值的第二差值；第二指數(shù)模塊，配置成計(jì)算所述第二差值的第二指數(shù)值。本發(fā)明在電路裝置上部署softmax，以兼顧softmax計(jì)算的模型大小，計(jì)算速度，計(jì)算時(shí)延，以及計(jì)算精度。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)以及模式識別領(lǐng)域，尤其涉及一種實(shí)現(xiàn)softmax的電路裝置及生成softmax代碼的方法。

背景技術(shù)

目前，在隨著計(jì)算機(jī)與信息技術(shù)的不斷演進(jìn)，機(jī)器學(xué)習(xí)以及模式識別已成為近幾年來最炙手可熱的領(lǐng)域之一。各種深度學(xué)習(xí)模型也在大量的涌現(xiàn)，當(dāng)模型在FPGA(可編程門陣列)上部署時(shí)，對模型的大小，以及推理速度，精度提出了很高的要求。現(xiàn)有的技術(shù)無法兼顧模型大小，計(jì)算速度，計(jì)算時(shí)延，以及計(jì)算精度。

由此，如何在電路裝置上部署softmax，以兼顧softmax計(jì)算的模型大小，計(jì)算速度，計(jì)算時(shí)延，以及計(jì)算精度，是本領(lǐng)域亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明為了克服上述現(xiàn)有技術(shù)存在的缺陷，提供一種實(shí)現(xiàn)softmax的電路裝置及生成softmax代碼的方法，以在電路裝置上部署softmax，以兼顧softmax計(jì)算的模型大小，計(jì)算速度，計(jì)算時(shí)延，以及計(jì)算精度。

根據(jù)本發(fā)明的一個(gè)方面，提供一種實(shí)現(xiàn)softmax的電路裝置，包括：

最大值模塊，配置成從輸入值中選取最大值；

第一差值計(jì)算模塊，配置成計(jì)算各所述輸入值和所述最大值的第一差值；

第一指數(shù)計(jì)算模塊，配置成計(jì)算所述第一差值的第一指數(shù)值；

累加模塊，配置成執(zhí)行所述第一差值的第一指數(shù)值的累加獲得累加值；

對數(shù)計(jì)算模塊，配置成計(jì)算所述累加值的對數(shù)值；

第二差值計(jì)算模塊，配置成計(jì)算所述第一差值和所述對數(shù)值的第二差值；

第二指數(shù)模塊，配置成計(jì)算所述第二差值的第二指數(shù)值。

在本發(fā)明的一些實(shí)施例中，所述最大值模塊配置成執(zhí)行如下公式：

其中，x_j為所述輸入值，x_max為所述輸入值中的最大值，

其中，所述最大值模塊串行實(shí)現(xiàn)時(shí)，所述最大值模塊僅包括一個(gè)比較器；

所述最大值模塊并行實(shí)現(xiàn)時(shí)，所述最大值模塊包括級聯(lián)的多個(gè)比較器，所述比較器的層級數(shù)為log₂(N)+1，其中，N為預(yù)設(shè)的并行度，1表示表示當(dāng)前批次的最大值和前一批次的最大值做一次比較。

在本發(fā)明的一些實(shí)施例中，所述比較器為浮點(diǎn)比較器或者定點(diǎn)比較器。

在本發(fā)明的一些實(shí)施例中，所述第一指數(shù)計(jì)算模塊采用分段線性函數(shù)計(jì)算所述第一差值的第一指數(shù)值，所述第一指數(shù)計(jì)算模塊包括多個(gè)指數(shù)計(jì)算單元，每個(gè)所述指數(shù)單元將輸入所述指數(shù)單元的值劃分為多個(gè)區(qū)間以利用多個(gè)直線段來近似指數(shù)曲線，并使每個(gè)區(qū)間關(guān)聯(lián)預(yù)設(shè)的所述直線段的斜率和截距。

在本發(fā)明的一些實(shí)施例中，所述第二指數(shù)計(jì)算模塊和所述第一指數(shù)計(jì)算模塊采用相同的方式實(shí)現(xiàn)。

在本發(fā)明的一些實(shí)施例中，所述累加模塊串行實(shí)現(xiàn)時(shí)，所述累加模塊僅包括一個(gè)加法器；