[發明專利]點積計算裝置

有效

• 申請號: 202110456687.X
• 申請日: 2021-04-27
• 公開（公告）號: CN112988112B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京壁仞科技開發有限公司;上海壁仞智能科技有限公司
• 主分類號: G06F7/523
• 分類號: G06F7/523
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

本公開的實施例涉及點積計算裝置，涉及集成電路領域。該點積計算裝置包括：具有預定輸入位寬的4N個乘法單元，N為正整數；N個4:2壓縮單元，與4N個乘法單元對應耦接，被配置為將4N個乘法單元的4N個乘法結果壓縮成2N個壓縮結果；2N個第一移位單元，與N個4:2壓縮單元對應耦接，被配置為對2N個壓縮結果進行移位，以生成2N個第一移位結果；加法樹單元，與2N個第一移位單元相耦接，被配置為對所述2N個第一移位結果進行壓縮，以生成加法樹壓縮結果；以及全加單元，與加法樹單元相耦接，被配置為對加法樹壓縮結果求和，以生成點積計算結果。由此，能夠降低點積計算裝置的功耗和面積。

技術領域

本公開的實施例總體涉及集成電路領域，具體涉及點積計算裝置。

背景技術

點積是矩陣乘法中的重要運算操作。在矩陣乘法中，點積相當于左矩陣某一行乘以右矩陣某一列，從而得到結果矩陣中的值。

為了實現不同精度下的算力配比，例如為了實現FP32：BF16：INT8算力配比為1:2:4，FP32乘法運算需要24x24的乘法器，通過拼接拆分需要9個8x8的乘法器，BF16乘法運算需要2個8x8的乘法器，INT8乘法運算需要4個8x8乘法器，綜合情況考慮需要消耗9個乘法器。如果去除FP32的功能，只保留BF16：INT8的算力配比為2:4，則只需4個8x8的乘法器。因此，為了支持FP32的功能，消耗了多余的電路，導致功耗和面積增加。

發明內容

提供了一種點積計算裝置及方法，能夠降低點積計算裝置的功耗和面積。

根據本公開的第一方面，提供了一種點積計算裝置。該點積計算裝置包括：具有預定輸入位寬的4N個乘法單元，N為正整數；N個4:2壓縮單元，與4N個乘法單元對應耦接，N個4:2壓縮單元被配置為將4N個乘法單元的4N個乘法結果壓縮成2N個壓縮結果；2N個第一移位單元，與N個4:2壓縮單元對應耦接，2N個第一移位單元被配置為對2N個壓縮結果進行移位，以生成2N個第一移位結果；加法樹單元，與2N個第一移位單元相耦接，加法樹單元被配置為對2N個第一移位結果進行壓縮，以生成加法樹壓縮結果；以及全加單元，與加法樹單元相耦接，全加單元被配置為對加法樹壓縮結果求和，以生成點積計算結果。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

結合附圖并參考以下詳細說明，本公開各實施例的上述和其他特征、優點及方面將變得更加明顯。在附圖中，相同或相似的附圖標注表示相同或相似的元素。

圖1是根據本公開的第一實施例的點積計算裝置100的示意框圖。

圖2是根據本公開的第二實施例的點積計算裝置200的示意框圖。

圖3是根據本公開的第三實施例的點積計算裝置300的示意框圖。

圖4是根據本公開的第四實施例的點積計算裝置400的示意框圖。

圖5是根據本公開的第五實施例的點積計算裝置500的示意框圖。

具體實施方式

以下結合附圖對本公開的示范性實施例做出說明，其中包括本公開實施例的各種細節以助于理解，應當將它們認為僅僅是示范性的。因此，本領域普通技術人員應當認識到，可以對這里描述的實施例做出各種改變和修改，而不會背離本公開的范圍和精神。同樣，為了清楚和簡明，以下的描述中省略了對公知功能和結構的描述。

在本文中使用的術語“包括”及其變形表示開放性包括，即“包括但不限于”。除非特別申明，術語“或”表示“和/或”。術語“基于”表示“至少部分地基于”。術語“一個示例實施例”和“一個實施例”表示“至少一個示例實施例”。術語“另一實施例”表示“至少一個另外的實施例”。術語“第一”、“第二”等等可以指代不同的或相同的對象。下文還可能包括其他明確的和隱含的定義。