[發明專利]機器學習系統以及用于創建機器學習系統的方法和設備

在審

• 申請號: 202010376808.5
• 申請日: 2020-05-07
• 公開（公告）號: CN111914990A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: T.普法伊爾
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 盧江;劉春元

機器學習系統以及用于創建機器學習系統的方法和設備。本發明涉及一種機器學習系統（10），其包括至少一個時間濾波器（21）。包括圖像的時間序列的輸入變量借助機器學習系統（10）在使用所述濾波器（21）的情況下被處理。所述機器學習系統（10）被配置為將所述濾波器（21）應用于像素的序列，所述像素都處于所述圖像的分別相同的坐標處或處于中間結果的分別相同的坐標處。所述濾波器（21）的濾波器系數是量化的。此外，本發明涉及用于創建機器學習系統（10）的方法、計算機程序以及設備。

技術領域

本發明涉及一種具有量化的參數的機器學習系統。此外，本發明涉及用于創建機器學習系統的方法和計算機程序以及設備。

背景技術

未預先公開的文獻 DE 10 2017 218 889.8公開了一種人工智能模塊，該人工智能模塊被構成為通過內部處理鏈將一個或多個輸入變量處理成一個或多個輸出變量。內部處理鏈通過一個或多個參數來規定。設置有分配模塊，該分配模塊被構成為根據至少一個統計分布確定參數。

未預先公開的文獻DE 10 2018 216 471.1公開了一種量化神經網絡。

可能的是，創建具有極其強的量化的量化神經網絡，如例如由 Hubara等人的“Quantized neural networks: Training neural networks with low precisionweights and activations”（The Journal of Machine Learning Research，2017, 18年度，第1期，第6869-6898頁）所示出的那樣。

遞歸神經網絡（RNN，英語 recurrent neural networks）具有如下優點：這些遞歸神經網絡也能夠處理包含在傳感器數據的時間維度中的信息。然而RNN的缺點是這些RNN不能被強量化。

但是值得想望的是，量化RNN的參數，以便能夠以更足夠的性能（performanter）在移動計算單元上運行RNN。

發明內容

根據獨立權利要求1提出，代替RNN使用具有時間卷積的神經網絡。這具有如下優點：這些神經網絡盡管卷積是計算耗費的但在保持RNN的上面提到的優點的情況下令人意外地在其參數的量化方面能夠比類似的RNN更節約能量。

在第一方面中提出一種特別是存儲器和能量有效的用于處理時間數列/序列的機器學習系統。

具有根據權利要求1的特征的機器學習系統、尤其神經網絡包括至少一個濾波器，其中至少濾波器的濾波器系數是量化的。也可設想的是，除了濾波器系數之外機器學習系統的其他參數也是量化的。替代地或附加地，至少激活可以是量化的。如果激活的數量超過機器學習系統的參數（例如權重）的數量，則激活的量化可能是有意義的。

機器學習系統被配置為根據輸入變量在使用濾波器的情況下確定輸出變量。輸入變量包括圖像的時間序列。替代地，可以使用多個時間上相繼所檢測到的變量、諸如一維傳感器數據。此外，機器學習系統被配置為將濾波器應用于像素的序列，所述像素都處于圖像的分別相同的坐標處或處于機器學習系統的中間結果、尤其中間處理的圖像的分別相同的坐標處。對于代替圖像使用所檢測到的變量的情況，將濾波器應用于所檢測到的變量或中間結果的分別處于相同位置的數據點。中間結果例如是神經網絡的層的激活。

也可設想的是，濾波器系數和優選地機器學習系統的其他參數分別具有來自可預先給定的量化的值域的值。可預先給定的量化的值域可以通過可預先給定數量的量化等級和/或通過可預先給定數量的位來限定。