[發明專利]數據處理方法、裝置、電子設備及計算機可讀存儲介質

在審

• 申請號: 202010432336.0
• 申請日: 2020-05-20
• 公開（公告）號: CN111598227A
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 楊林杰;金慶
• 申請（專利權）人: 字節跳動有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F7/575
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 張筱寧

本公開提供了一種數據處理方法、裝置、電子設備及計算機可讀存儲介質，涉及數據處理領域。該方法包括：將待檢測數據輸入訓練后的計算模型；訓練后的計算模型包括多層神經網絡，每層神經網絡設置有第一輸入量化比特數、第一權值量化比特數，以及權值矩陣；第一輸入量化比特數和第一權值量化比特數為浮點數；確定出每層神經網絡中第一輸入量化比特數對應的量化輸入矩陣，以及，確定出第一權值量化比特數對應的量化權值矩陣；基于量化輸入矩陣和量化權值矩陣對待檢測數據進行計算，得到每層神經網絡對應的各個輸出矩陣，并將各個輸出矩陣作為待檢測數據的目標標注值。本公開大幅提高了計算速度、減少了內存占用、時間和功耗。

技術領域

本公開涉及數據處理技術領域，具體而言，本公開涉及一種數據處理方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

IEEE(Institute of Electrical and Electronics Engineers，電氣和電子工程師協會)浮點算術標準是用來衡量計算機上以二進制所表示數字精度的通用約定。

全精度計算意味著在計算時能夠以不同精度進行計算。比如，在需要使用高精度進行計算的部分使用雙精度，而在不需要使用高精度進行計算的部分使用半精度或單精度進行計算。

混合精度計算則是在單個操作中使用不同的精度級別，從而在不犧牲精度的情況下保證計算效率。

混合精度量化是一種對每層/通道中具有不同位寬的神經網絡進行量化，以在加快網絡推理速度的同時仍然保持網絡準確性的技術?，F有的混合精度算法主要以基于增強學習的方法和基于采樣的方法為主。

基于增強學習的方法每次訓練一組位寬的模型并評估其性能，然后更新策略網絡以在下一回合中選擇更好的候選模型，因此需要訓練不同的模型；而基于采樣的方法在位寬搜索中共享所有模型權重，因此不需要訓練不同的模型。但是他們采樣的方法都需要對大量的候選模型進行采樣，并在位寬搜索之后選擇最好的候選模型，需要花費大量的時間，導致模型的計算速度較慢，而且，對大量的候選模型進行采樣也會導致內存占用過多，功耗較高。

發明內容

提供該發明內容部分以便以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。該發明內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

本公開提供了一種數據處理方法、裝置、電子設備及計算機可讀存儲介質，可以解決模型的計算速度較慢，內存占用過多，功耗較高的問題。所述技術方案如下：

第一方面，提供了一種數據處理方法，該方法包括：

將待檢測數據輸入訓練后的計算模型；所述訓練后的計算模型包括多層神經網絡，每層神經網絡設置有第一輸入量化比特數、第一權值量化比特數，以及權值矩陣；所述第一輸入量化比特數和所述第一權值量化比特數為浮點數；

確定出每層神經網絡中所述第一輸入量化比特數對應的量化輸入矩陣，以及，確定出所述第一權值量化比特數對應的量化權值矩陣；

基于所述量化輸入矩陣和所述量化權值矩陣對所述待檢測數據進行計算，得到每層神經網絡對應的各個輸出矩陣，并將各個輸出矩陣作為所述待檢測數據的目標標注值。

第二方面，提供了一種數據處理裝置，該裝置包括：

第一處理模塊，用于將待檢測數據輸入訓練后的計算模型；所述訓練后的計算模型包括多層神經網絡，每層神經網絡設置有第一輸入量化比特數、第一權值量化比特數，以及權值矩陣；所述第一輸入量化比特數和所述第一權值量化比特數為浮點數；

第二處理模塊，用于確定出每層神經網絡中所述第一輸入量化比特數對應的量化輸入矩陣，以及，確定出所述第一權值量化比特數對應的量化權值矩陣；