[發明專利]基于隨機計算理論的貝葉斯網絡推理方法

在審

• 申請號: 201911211588.4
• 申請日: 2019-12-02
• 公開（公告）號: CN111062481A
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 賈小濤;楊建磊;成鎮;趙巍勝
• 申請（專利權）人: 北京航空航天大學青島研究院
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06K9/62
• 代理公司: 青島中天匯智知識產權代理有限公司 37241
• 代理人: 雷斐

本發明涉及推理方法，尤其是一種基于隨機計算理論的貝葉斯網絡推理方法。該方法簡化了基于中心極限定理的高斯隨機發生器的計算過程，簡化了貝葉斯神經網絡推理過程中的乘法運算，利用二項分布發生器得到的“0?1”序列為數據單元，“與門”實現乘法運算操作，“0?1”隨機數序列直接參與計算，完成貝葉斯神經網絡推理，從而達到了減少硬件資源、提高計算速度、降低系統功耗的目的。

技術領域

本發明涉及推理方法，尤其是一種基于隨機計算理論的貝葉斯網絡推理方法。

背景技術

近年來數據規模和計算能力的增長大大促進了人工智能發展，深度學習作為人工智能一個活躍分支，不斷取得進步，目前工業界與學術界已經提出了很多高效的神經網絡模型，不同于深度神經網絡模型的確定權重值，貝葉斯神經網絡參數通常符合固定的概率分布，假設權重ω符合均值為μ，方差為σ的高斯分布，在推理過程中，首先從標準正態分布中獲取一個隨機數h，然后利用正態分布的線型性，ω＝σh+μ獲得最終權值，當所有權重和偏置采樣完成，得到一個實例化的網絡，并進行一次前向學習得到一個學習結果，多次計算取均值。

其中高斯隨機數的產生是貝葉斯深度學習系統的重要部分，常用的方法為：首先生成均勻分布隨機數或二項分布隨機數，基于中心極限定理，得到標準正態分布的隨機數，再進行相應的運算操作。在這個過程中，所有的數據均為數值型數據，運算采用傳統的乘、加計算，會消耗大量的硬件資源，而且多個周期才能產生一個隨機數，計算速度慢，系統功耗高，

發明內容

本發明的目的在于解決現有技術中存在的上述問題，提出了一種基于隨機計算理論的貝葉斯網絡推理方法，可以讓“0-1”序列直接參與計算，并用“與門”代替乘法操作，減少了大量的硬件資源，具有更高的計算速度和更低的系統功耗。

本發明的技術方案是：一種基于隨機計算理論的貝葉斯網絡推理方法，包括以下步驟：

將網絡參數即均值μ∈R^M×N與標準方差σ∈R^M×N轉換為k位長的“0-1”序列隨機數；

給定新的輸入向量x∈R^N，將其每個元素轉換為長度為k的“0-1”序列隨機數，分別計算輸入數據的特征矩陣β與特征向量η，其中，i＝1,2,…M,j＝1,2,…N；計算過程中的乘法操作采用“與門”實現，加法操作采用直接統計“1”的個數；

存儲輸入數據的特征矩陣β與特征向量η；

產生符合二項分布的k位“0-1”序列，進行M×N次隨機數采樣，獲取不確定性矩陣H∈R^M×N；

利用不確定性矩陣H、特征矩陣β以及特征向量η，通過下述公式完成貝葉斯深度神經網絡前向傳播過程中的矩陣向量乘運算，

z＝〈H,β〉_L

其中，〈H,B〉_L表示不確定性矩陣H與特征矩陣β按行進行內積計算，確定性矩陣H與特征矩陣β逐行用乘法計算后，再用加法計算，乘法采用“與門”實現,加法采用直接統計“1”的個數，其計算結果為z∈R^M，其中每一行為“1”的個數，y為矩陣向量乘運算結果；

重復上述步驟得到T個輸出向量y₁,y₂,…,y_T，并獲取最終輸出

本發明中，通過下述公式分別計算特征矩陣β∈R^M×N與特征向量η∈R^M，

β^ij＝σ^ijx^j