[發明專利]基于硬件環境的數據量化方法、裝置及可讀存儲介質

有效

• 申請號: 202010071063.1
• 申請日: 2020-01-21
• 公開（公告）號: CN111240640B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 曹其春;趙雅倩;董剛;梁玲燕;尹文楓
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F8/10
• 分類號: G06F8/10;G06N20/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉新雷

本申請公開了一種基于硬件環境的數據量化方法、裝置及計算機可讀存儲介質。其中，方法包括解析當前深度學習框架下的模型文件得到與硬件環境無關的中間計算圖數據和權重數據，并對輸入數據集中的圖像數據經中間計算圖流程計算得到特征圖數據；分別按照預先設置的線性量化方法對權重數據和每層特征圖數據進行均勻量化，計算得到權重量化因子和特征圖量化因子，將權重量化因子和特征圖量化因子進行合并，得到使硬件使用移位代替除法的量化參數；最后按照硬件需求將量化參數和量化后的權重數據寫入至bin文件，生成量化后文件數據，從而解決了相關技術中為了支持多種深度學習框架導致量化軟件包冗余、依賴庫沖突的問題。

技術領域

本申請涉及人工智能技術領域，特別是涉及一種基于硬件環境的數據量化方法、裝置及計算機可讀存儲介質。

背景技術

隨著人工智能在各個領域的發展，如農業、金融、安防、健康醫療、制造等，用戶對基于人工智能技術的產品的計算速度、精度和功耗有更高的需求。各大硬件產商研發專門針對人工智能算法計算的加速卡及相應配套的量化方案，來加速人工智能算法在日常使用的普及。

AI(Artificial Intelligence，人工智能)加速卡的大規模和并行特點，導致AI加速卡的開發也極具挑戰，同時還需要滿足量化方案能夠使用低精度運算實現類似高精度運算的算法精度。為了滿足高精度數據映射到低精度、減少硬件資源開銷，需提前對高精度數據進行量化以生成低精度的權重數據和量化參數文件，軟件端的量化工具包的開發即滿足上述需求。

但是，隨著目前深度學習框架種類增多，為AI加速卡適應各種框架下的模型增加了困難，普通的量化工具包為兼容各種框架，需提前安裝多種深度學習框架軟件，很容易造成主機端軟件的冗余和各種依賴庫的沖突。

鑒于此，如何解決為了支持多種深度學習框架導致軟件包冗余、依賴庫沖突的問題，是本領域技術人員需要解決的技術問題。

發明內容

本申請提供了一種基于硬件環境的數據量化方法、裝置及計算機可讀存儲介質，解決了相關技術中為了支持多種深度學習框架導致軟件包冗余、依賴庫沖突的問題。

為解決上述技術問題，本發明實施例提供以下技術方案：

本發明實施例一方面提供了一種基于硬件環境的數據量化方法，包括：

根據當前深度學習框架下的模型文件解析得到與硬件環境無關的中間計算圖數據和權重數據；

基于所述中間計算圖數據和所述權重數據，對輸入數據集中的圖像數據經中間計算圖流程計算得到特征圖數據；

分別按照預先設置的線性量化方法對所述權重數據和每層特征圖數據進行均勻量化，并計算得到權重量化因子和特征圖量化因子；

將所述權重量化因子和所述特征圖量化因子進行合并，得到量化參數，所述量化參數為使硬件使用移位代替除法的參數；

按照硬件需求將所述量化參數和量化后的權重數據寫入至bin文件，生成量化后文件數據。

可選的，所述按照硬件需求將所述量化參數和量化后的權重數據寫入至bin文件之前，還包括：

對所述量化參數和量化后的權重數據進行重排序，以使所述量化參數和量化后的權重數據的數據格式為64通道并行格式。

可選的，所述解析得到當前深度學習框架的中間計算圖數據和權重數據包括：

利用NNVM編譯器中的NNVM組件解析所述模型文件得到所述中間計算圖數據；

利用所述NNVM編譯器中的TVM組件執行中間計算圖的操作運算符并計算得到張量形式的權重數據。

可選的，所述將所述權重量化因子和所述特征圖量化因子進行合并為：