[發明專利]一種通用處理器的性能評估方法

有效

• 申請號: 202010675685.5
• 申請日: 2020-07-14
• 公開（公告）號: CN111651341B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 郭輝;黃立波;鄭重;郭維;雷國慶;鄧全;隋兵才;王俊輝;倪曉強;孫彩霞;王永文
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F11/36;G06F30/3308;G06F30/331;G06F115/10
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 譚武藝

本發明公開了一種通用處理器的性能評估方法，包括：將測試程序劃分為多個執行階段；從每個執行階段中選取一段指令序列作為測試樣本并計算權重；在真實處理器芯片平臺上運行測試程序，并采用檢查點創建工具為每個測試樣本生成檢查點；在測試驗證平臺上用檢查點恢復工具恢復生成的檢查點在仿真驗證平臺上恢復執行一定數量的指令并收集性能數據；根據每個測試樣本的權重及其對應檢查點的性能數據計算整個測試程序的性能數據。本發明能夠快速準確評估性能、支持多種仿真驗證平臺以及支持靈活、細粒度性能評估。

技術領域

本發明涉及處理器評估技術，具體涉及一種通用處理器的性能評估方法。

背景技術

一般地，評估一款處理器的性能需要運行一些基準測試程序，從而來獲得處理器的性能得分。這些基準測試程序包括SPEC2000、SPEC?2006、Linpack、CoreMark等。通常，這些測試是在實際處理器芯片上進行，因此即使是規模較大的測試程序集，比如SPEC?2006ref測試集，也能夠在幾小時內獲得測試結果。然而，芯片制造是一項投入巨大的項目，一旦開始流片就無法對芯片的原有設計進行修改。因此，芯片設計公司就需要從設計初期直到設計代碼提交前充分驗證芯片性能，以確保設計的芯片可以達到預期的性能目標。

目前，處理器芯片前期驗證的方式主要包括：軟件模擬器、FPGA原型系統、仿真器等。相比于實際處理器芯片，這些驗證方法都有一個明顯的缺陷——運行頻率非常低。通常，實際處理器芯片運行頻率都在1GHz以上，而軟件模擬器、仿真器、FPGA原型系統等驗證方式一般只能運行在幾兆（模擬器和仿真器）或幾十兆赫茲（FPGA）的頻率。巨大頻率差異導致前期性能驗證運行完整的測試程序集通常需要幾周甚至數月的時間，這樣即使能夠得到性能數據也失去了參考的意義。因此，有必要針對這些驗證平臺設計一種快速的性能評估方法。

想要實現快速的性能評估，一種方式是減小測試集的規模（數據規模或程序的數量），然后根據測試小規模測試集得到的性能數據推測測試集的整體性能數據。從測試集中選擇某些測試程序構成測試子集是縮減測試集規模的一種常用做法。研究發現通過對SPEC2006所有測試程序和數據集進行大量的統計學分析，可以找到一個SPEC?2006測試子集。通過測試這個子集來推測SPEC?2006的整體性能。一定程度上，這種做法可以減少測試的時間成本但是會造成精確度的損失，而且如果子集中測試程序的數量比較多，對于大部分驗證平臺來說，測試的時間成本還是很高。另外，對于不同系列的處理器，所得到的測試子集可能也會存在差異導致沒有一個統一的性能分析基準。還有一種做法是使用測試集中小規模的數據進行測試。比如，先在驗證平臺上測試SPEC?2006訓練數據集的性能，再根據其他處理器芯片測試SPEC?2006訓練和參考數據集的性能對所設計處理器的性能進行推測。相比于使用測試子集的方式，這種做法可以顯著縮短測試的時間，但是使用這種做法推測的結果非常依賴于參考的處理器性能。另一方面，由于訓練數據集的數據量過小，因此就無法真實地反映處理器緩存結構的性能，從而導致推測出的性能結果誤差較大。因此，這兩種減小測試集規模的方式雖然簡單可行，但是都有存在較大誤差的可能，進而無法應用到對精確度要求較高的場景。

目前一些大型處理器研發公司，比如ARM和Intel等，會在模擬器或仿真器平臺上使用一種基于simpoint的性能分析策略。這種方法將程序劃分為等長的程序片段并從這些程序片段中選擇部分可以代表程序特征的程序片段作為測試樣本，在模擬器或仿真器平臺上執行這些測試樣本，并將所有測試樣本的數據進行加權計算，從而得到整個程序的性能數據。這種測試方法的原理是程序執行過程中具有不同的階段，從每個階段中抽取出程序片段就可以構成一個與源程序具有極大相似度的測試樣本。因此，測試樣本與源程序具有極為相似的程序行為，從而保證了獲得高精確度的性能。同時，相比于整個程序，測試樣本的指令數顯著下降，因此保證了測試可以在短時間內完成。