[發明專利]基于聲音反饋的認知的和偶然的深度可塑性

有效

• 申請號: 201980009715.4
• 申請日: 2019-03-06
• 公開（公告）號: CN111656362B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: A·鮑曼;S·哈梅;M·福斯特
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 馬明月

提供了在人工神經網絡中模擬不確定性。通過在人工神經網絡的輸出數據的反向傳播期間將隨機值添加到人工神經網絡中的節點之間的邊權重、并且測量向節點之間的邊權重添加的隨機值對輸出數據的影響，來模擬偶然不確定性，以測量人工神經網絡從在真實世界環境中操作的對象接收的傳感器數據所不理解的內容。通過在傳感器數據的前向傳播期間從人工神經網絡的每個相應層中丟棄所選節點并且測量丟棄的節點對人工神經網絡的輸出數據的影響，來模擬認知不確定性，以測量人工神經網絡所不知道的內容。基于模擬偶然不確定性和認知不確定性的影響來執行與對象相對應的動作。

技術領域

本公開一般涉及深度學習，并且更具體地涉及在訓練人工神經網絡時模擬不確定性，以便預測神經網絡在以后的真實世界應用期間在不確定性中產生準確結果的能力。

背景技術

深度學習是基于算法集合的機器學習的分支，該算法集合試圖通過使用由多個非線性變換組成的人工神經網絡架構來對數據中的高級抽象進行建模。這種機器學習可以是監督的或無監督的。深度學習架構已經被應用于諸如例如音頻識別、計算機視覺、語音識別和自然語言處理之類的領域，其中這些架構已經產生了與人類專家相當的結果，并且在一些情況下優于人類專家。

深度學習使用多個處理節點層的級聯來進行特征提取和變換。每個連續的節點層使用來自前一節點層的輸出作為輸入。深度架構被組織為圖(graph)。圖中的節點由邊或鏈路連接，以將在源處計算的激活傳播到目的地節點。每條邊具有確定連接的相對強度和符號的權重，并且每個節點將激活函數應用于傳入激活的所有加權和。例如，激活函數被給定為硬閾值、S形函數或雙曲正切。

這種深度架構通過考慮示例而漸進地學習并提高任務的性能，通常沒有特定任務的編程。例如，在音頻識別中，這些深度架構可以通過分析已經被手動標記為“恐慌”或“無恐慌”的聲音樣本并且使用結果來標識其他聲音輸入中的恐慌人群，來學習標識指示人群中的恐慌的聲音。這些深度架構能夠在沒有關于人群的任何先驗知識的情況下做到這一點。相反，這些深度架構從它們處理的訓練數據中演化它們自己的相關特性集合。然而，由于測量誤差或不考慮當前模型所不知道的內容，當前的深度架構模型在現實環境中不能很好地執行。換言之，這些當前深度架構模型在真實世界環境中的不確定性的高水平和不斷變化的幅度下不能很好地執行。

發明內容

根據一個說明性實施例，提供了一種用于模擬人工神經網絡中的不確定性的計算機實現的方法。計算機通過在人工神經網絡的輸出數據的反向傳播期間將隨機值添加到人工神經網絡中的節點之間的邊權重、并且測量向節點之間的邊權重添加的隨機值對輸出數據的影響，來模擬偶然不確定性，以測量人工神經網絡從在真實世界環境中操作的對象接收的傳感器數據所不理解的內容。計算機通過在傳感器數據的前向傳播期間從人工神經網絡的每個相應層中丟棄所選擇的節點并且測量丟棄的節點對人工神經網絡的輸出數據的影響，來模擬認知不確定性，以測量人工神經網絡所不知道的內容。計算機基于模擬偶然不確定性和認知不確定性的影響，執行與發送傳感器數據并且在真實世界環境中操作的對象相對應的動作。根據其它說明性實施例，提供了用于模擬人工神經網絡中的不確定性的計算機系統和計算機程序產品。因此，說明性實施例能夠在數據和傳感器不確定性期間跨越在真實世界環境中操作的許多各種類型的平臺執行，諸如自主交通工具、機器人助理、無人機等。結果，說明性實施例能夠在它們各自環境中的數據和傳感器不確定性期間執行的同時提高這些各種類型的平臺的性能。

優選地，本發明提供了一種計算機實現的方法，還包括：由計算機通過使用對應于真實世界環境的傳感器數據選擇將從人工神經網絡的每一層中被隨機丟棄的節點以用于蒙特卡羅丟棄采樣；以及對于人工神經網絡的每個相應層：由計算機標識對應于特定層的概率密度函數；以及由計算機基于將傳感器數據的強度水平應用于與該特定層相對應的概率密度函數來選擇將從該特定層被隨機丟棄的節點。

優選地，本發明提供了一種方法，該方法還包括：由計算機基于模擬偶然不確定性和認知不確定性來生成人工神經網絡的輸出。