[發明專利]針對卷積神經網絡輸入層的位解釋

在審

• 申請號: 201911200618.1
• 申請日: 2019-11-29
• 公開（公告）號: CN111260023A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: T.羅茨尼克;R.迪興;C.彼得斯
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 畢錚;劉春元

提供了針對卷積神經網絡輸入層的位解釋。為了在邊緣設備（例如，如Apple Watch或FitBit這樣的可穿戴設備）上高效執行深度卷積神經網絡（CNN），可能有必要將網絡參數的位寬度減少下至1位。CNN的第一層處的二進制化典型地尚未被執行，這是因為它可能導致輸入數據的輸出驗證誤差方面的增加。所提供的方法和系統包括二進制輸入層（BIL），該二進制輸入層通過學習位特定的二進制權重來接受二進制輸入數據。與使用浮點輸入數據執行的CNN模型形成對照，通過使用二進制輸入數據來執行CNN，本方法和系統可以導致在所消耗的芯片面積和所使用的能量方面的減少。

技術領域

以下內容總地涉及卷積神經網絡，并且更具體地涉及卷積神經網絡的第一層的二進制化（binarization）。

背景技術

卷積神經網絡（CNN）是一類深度前饋人工神經網絡，其最通常被應用于包括計算機視覺和語音識別在內的許多不同應用。先前的CNN模型典型地需要高能量消耗、存儲器存儲和芯片面積來執行。因此，需要存在如下CNN：該CNN不需要那么多的芯片面積和存儲器，并且在執行時不需要大量能量。

發明內容

在一個實施例中，公開了一種用于實現接收輸入數據的卷積神經網絡（CNN）的系統和方法。然后，CNN可以在不提供預定義的序數結構的情況下，通過應用學習位特定相關性的按位加權算法來對輸入數據進行過濾，以生成直接二進制輸入數據（DBID）。所應用的按位加權算法可以是每個單獨的輸入值與被應用于該輸入值的每一位的位特定權重相乘的所得總和。然后DBID可以被提供給CNN內的一個或多個卷積層。

DBID也可以被提供給卷積層，而不對輸入數據執行附加的歸一化。在一方面，CNN可以進一步包括一個或多個全連接層和柔性最大（softmax）層。在另一方面，CNN還可以包括具有一個或多個卷積核（K）濾波器的二進制輸入層，該濾波器具有至少為1×1陣列的濾波器大小。

附圖說明

圖1是具有浮點或定點整數輸入層的卷積神經網絡的圖；

圖2是3通道彩色圖像數據集的圖示；

圖3是具有直接二進制輸入層的卷積神經網絡的圖；

圖4是具有二進制輸入層的卷積神經網絡的圖；以及

圖5是直接二進制輸入數據方法的圖形圖示。

具體實施方式

根據需要，在本文中公開了詳細的實施例；然而，要理解的是，所公開的實施例僅僅是示例性的，并且可以以各種和替代的形式來體現。各圖不一定是按比例的；一些特征可能被夸大或最小化以示出特定組件的細節。因此，本文中所公開的具體結構和功能細節將不解釋為限制性的，而是僅僅作為用于教導本領域技術人員以各種方式采用本實施例的代表性基礎。

在神經網絡領域中，對于包括計算機視覺（例如，對象識別或面部識別）和語音識別在內的各種各樣的應用，已經增加了對深度卷積神經網絡（CNN）的使用。參考圖1，CNN100可以包括：輸入數據110；一個或多個卷積層120-140；一個或多個池化層（poolinglayer）150-170；全連接層160；以及柔性最大層170。