[發明專利]利用硬件計算效率和調整因子優化神經網絡

在審

• 申請號: 201980068960.2
• 申請日: 2019-10-18
• 公開（公告）號: CN112889024A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 杰弗里·霍伊爾·約翰遜
• 申請（專利權）人: 臉譜公司
• 主分類號: G06F7/483
• 分類號: G06F7/483;G06F7/509
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 俞立文;楊明釗

在一個實施例中，一種方法包括接收對要執行的運算的請求；確定該運算與機器學習算法相關聯，并且作為響應，將該運算路由到計算電路；在計算電路處執行運算，包括：基于與運算相關聯的第一對數域數和第二對數域數的總和，確定第一對數域數和第二對數域數的線性域乘積，并輸出近似第一對數域數和第二對數域數的線性域乘積的第三對數域數；將第三對數域數轉換成第一線性域數；將第一線性域數和與運算相關聯的第二線性域數求和，并輸出第三線性域數作為求和結果。

技術領域

本公開總體涉及使用硬件計算效率來優化計算系統中的神經網絡。

背景

機器學習探索從數據中學習的算法的設計。機器學習算法適應輸入建立模型，然后可以用于新數據進行預測。機器學習與統計學、人工智能和優化有著密切的聯系，并且經常被用在難以制定明確的基于規則的算法的任務中。人工神經網絡是能夠進行機器學習的計算工具。在下文中稱為神經網絡的人工神經網絡中，被稱為“神經元”的互連計算單元被允許適應訓練數據，并且隨后一起工作以在某種程度上類似于生物神經網絡中的處理的模型中產生預測。神經網絡可以包括一組層，第一層是被配置為接收輸入的輸入層。輸入層包括連接到第二層中所包括的神經元的神經元，第二層可以被稱為隱藏層。隱藏層的神經元可以連接到另一個隱藏層或輸出層。在一些神經網絡中，一層中的每個神經元都與下一層中的每個神經元相連。這種神經網絡被稱為完全連接網絡。訓練數據用于讓每個連接承擔表征連接強度的權重。一些神經網絡包括完全連接的層和不完全連接的層。卷積神經網絡中的完全連接層可以稱為密集連接層。在一些神經網絡中，信號嚴格地以一條路徑從輸入層傳播到輸出層，這意味著不存在向輸入層反向傳播的連接。這種神經網絡被稱為前饋神經網絡。如果確實存在向輸入層反向傳播的連接，則所討論的神經網絡可以被稱為循環神經網絡。

特定實施例的概述

本公開討論了一種能夠促進計算運算(包括精確的對數線性乘加(ELMA)計算運算)的執行的計算設備。在高級別上，由計算設備執行ELMA計算運算可以使用數學轉換來執行更快的硬件計算，而不使用硬件乘法器。例如，考慮由計算設備執行計算功能c+ab。在一些示例中，計算設備可以將二進制數表示a和b轉換成對數數字表示(以二進制表示)，而不是由計算設備使用二進制數表示來執行乘法運算。在一些示例中，計算設備可以接收對數數字表示a和b。然后，計算設備可以對對數數字表示執行額外的計算(例如，對數數字表示線性域中值的某個固定基數的指數)，以生成對數數字表示乘積，在計算設備的硬件中實現該乘積在計算上成本較低。計算設備可以將對數數字表示乘積近似為線性域表示乘積。計算設備然后可以執行附加操作來將線性數字表示c添加到線性域表示乘積ab。計算設備可以通過使用累加器(例如，Kulisch累加器)將線性數字表示c加到線性表示乘積ab來執行附加計算。

本說明書中描述的主題的創新方面可以體現在一種系統中，該系統包括處理器，該處理器被配置為接收對要執行的運算的請求，確定該運算與機器學習算法相關聯，并且作為響應，將該運算路由到被配置為執行該運算的計算電路，其中所述計算電路包括：指數調整計算模塊，其被配置為將調整因子應用于第一線性域數(linear-domain number)以生成調整后的第一線性域數；以及求和計算模塊，其被配置為將第一調整后的線性域數和第二線性域數的總和確定為第三線性域數，其中所述指數調整計算模塊被進一步配置為將附加調整因子應用于第三線性域數以生成調整后的第三線性域數。

這些方面的其他實施例包括相應的方法、裝置和計算機程序，其被配置為執行編碼在計算機存儲設備上的方法的動作。

這些和其他實施例可以各自可選地包括一個或更多個以下特征。例如，第一線性域數是浮點數。調整因子和/或附加調整具有負值或正值。求和計算模塊是Kulisch累加器。在求和之前，將調整后的第一線性域數轉換成定點數。求和計算模塊是浮點累加器。第二線性域數與運算相關聯。