[發(fā)明專(zhuān)利]一種異構(gòu)計(jì)算設(shè)備計(jì)算能力測(cè)算的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202211320824.8
• 申請(qǐng)日: 2022-10-26
• 公開(kāi)（公告）號(hào): CN115543911B
• 公開(kāi)（公告）日: 2023-08-01
• 發(fā)明（設(shè)計(jì)）人: 董建;鮑薇;徐洋;楊雨澤;劉祥龍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院
• 主分類(lèi)號(hào): G06F15/78
• 分類(lèi)號(hào): G06F15/78;G06N3/04
• 代理公司: 北京德崇智捷知識(shí)產(chǎn)權(quán)代理有限公司 11467
• 代理人: 申星宇

本發(fā)明提供了一種異構(gòu)計(jì)算設(shè)備計(jì)算能力測(cè)算的方法，適用于不同款芯片、相同款芯片、多芯片之間的精度測(cè)算；針對(duì)于不同芯片的標(biāo)稱(chēng)值相同，但實(shí)際計(jì)算能力也不等同的問(wèn)題，提出芯片標(biāo)稱(chēng)算力的測(cè)算方法，y＝f(x)，提高了計(jì)算的準(zhǔn)確率；本發(fā)明的異構(gòu)計(jì)算設(shè)備計(jì)算能力測(cè)算的方法算法簡(jiǎn)單，可應(yīng)用于同一款芯片、不同款芯片、多芯片多種模式，應(yīng)用性好。

技術(shù)領(lǐng)域

本發(fā)明算力技術(shù)領(lǐng)域，尤其涉及一種異構(gòu)計(jì)算設(shè)備計(jì)算能力測(cè)算的方法。

背景技術(shù)

標(biāo)稱(chēng)算力是隨附在人工智能計(jì)算設(shè)備出廠說(shuō)明上的，對(duì)計(jì)算設(shè)備每秒能夠?qū)嵤┑牟僮鲾?shù)的理論估算值；計(jì)算設(shè)備含有多個(gè)芯片時(shí)，一般采用加和的方法，累計(jì)所有參與人工智能計(jì)算的芯片的每秒總操作數(shù)；

一般的算力皆有精度作為輔助說(shuō)明，常見(jiàn)的精度包含：FP32，F(xiàn)P16，INT8等；對(duì)于浮點(diǎn)運(yùn)算，使用FP32或FP16，標(biāo)稱(chēng)算力單位為FLOPS(記為如256FLOPS@FP16)；對(duì)于整形計(jì)算采用INT8，標(biāo)稱(chēng)算力單位TOPS(記為如256TOPS@INT8)；對(duì)于有多個(gè)不同精度下計(jì)算能力的芯片或計(jì)算設(shè)備，一般羅列算力(如XX計(jì)算設(shè)備支持128FLOPS@FP32，256FLOPS@FP16，64TOPS@INT8)；計(jì)算精度的測(cè)算可以使用2倍率，如1FLOPS@FP16＝2TOPS@INT8，1FLOPS@FP32＝4TOPS@INT8，但此法準(zhǔn)確率不高。

現(xiàn)有技術(shù)當(dāng)中，標(biāo)稱(chēng)算力在芯片廠商內(nèi)部的估計(jì)方法是：使用待測(cè)芯片計(jì)算非全零矩陣乘加，統(tǒng)計(jì)完成乘加的次數(shù)，再測(cè)算成OPS；而在實(shí)際業(yè)務(wù)當(dāng)中，不單是僅乘加這么單一，因而這種方法仍然不準(zhǔn)；同樣的，因?yàn)樗阕臃N類(lèi)多，有些需要特別處理過(guò)程；一般都會(huì)優(yōu)化乘加計(jì)算，因?yàn)橛昧看螅幌掠螐S商的實(shí)驗(yàn)未做優(yōu)化，1000多種算子的行效率可能不與乘加算子一致；

即便不同芯片的標(biāo)稱(chēng)值一樣，其微架構(gòu)不同，完成同一計(jì)算的效率不一致；因而，到目前為止，找到芯片標(biāo)稱(chēng)算力的測(cè)算方法，是待解決的缺陷問(wèn)題；

因此，本領(lǐng)域的技術(shù)人員致力于開(kāi)發(fā)一種異構(gòu)計(jì)算設(shè)備計(jì)算能力測(cè)算的方法，以解決上述現(xiàn)有技術(shù)的不足。

發(fā)明內(nèi)容

有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明的目的是提供一種異構(gòu)計(jì)算設(shè)備計(jì)算能力測(cè)算的方法，找到芯片標(biāo)稱(chēng)算力的測(cè)算方法；

為實(shí)現(xiàn)上述目的，本發(fā)明一種異構(gòu)計(jì)算設(shè)備計(jì)算能力測(cè)算的方法，本發(fā)明一種異構(gòu)計(jì)算設(shè)備計(jì)算能力測(cè)算的方法，包括如下步驟，

步驟1、選取各類(lèi)典型場(chǎng)景的深度學(xué)習(xí)模型集合S，芯片集合N，對(duì)于各類(lèi)芯片統(tǒng)計(jì)時(shí)長(zhǎng)和操作數(shù)；

步驟2、選取表中的兩列，針對(duì)推理所得數(shù)據(jù)，基于S，在坐標(biāo)系中繪制相應(yīng)的點(diǎn)；

步驟3、根據(jù)步驟2所得結(jié)果，獲得同一芯片不同精度間、不同芯片相同精度間計(jì)算能力的測(cè)算比例集合，總結(jié)出相應(yīng)規(guī)律；

進(jìn)一步地，所述步驟1中，所述對(duì)于過(guò)程中計(jì)算量的統(tǒng)計(jì)，應(yīng)包含前向過(guò)程(模型計(jì)算量)和后向過(guò)程(參數(shù)更新計(jì)算量)；

進(jìn)一步地，所述步驟1中，所述各類(lèi)芯片包括不同款芯片、相同款芯片、多芯片；

進(jìn)一步地，所述步驟1中，所述對(duì)于相同款芯片統(tǒng)計(jì)時(shí)長(zhǎng)和操作數(shù)為，在同一芯片n∈N上，對(duì)在不同精度下統(tǒng)計(jì)時(shí)長(zhǎng)和操作數(shù)；

進(jìn)一步地，所述步驟1中，所述對(duì)于不同款芯片統(tǒng)計(jì)時(shí)長(zhǎng)和操作數(shù)為，在不同模型、相同精度下統(tǒng)計(jì)時(shí)長(zhǎng)和操作數(shù)；

進(jìn)一步地，所述步驟1中，所述多芯片包括不同款芯片、相同款芯片，并將模型數(shù)量增大到S^*以上，芯片款型增加到N^*以上；

進(jìn)一步地，所述步驟1中，所述多芯片精度測(cè)量還包括以下步驟，

步驟1-1、按芯片種類(lèi)進(jìn)行如下編碼，以獲得全面的數(shù)據(jù)表，