[發(fā)明專利]優(yōu)化采樣的神經網絡的設備上持續(xù)學習方法及裝置

有效

• 申請?zhí)枺?/td>: 202010038838.5
• 申請日: 2020-01-14
• 公開（公告）號: CN111488980B
• 公開（公告）日: 2023-10-03
• 發(fā)明（設計）人: 金桂賢;金镕重;金寅洙;金鶴京;南云鉉;夫碩焄;成明哲;呂東勛;柳宇宙;張?zhí)┬?/a>;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06N3/084
• 分類號: G06N3/084;G06N3/0475;G06F18/214
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李光輝;馬芬

本發(fā)明涉及以智能手機、無人機、船舶或軍事目的提供的一種用于分析輸入數據的神經網絡(Neural Network)的設備上持續(xù)學習(On?Device Continual Learning)的方法，所述方法包括：步驟(a)，學習裝置對新數據進行統(tǒng)一采樣(Uniform?Sampling)，使得具有第一體積，提升網絡將k維隨機向量轉換為k維修正向量，原始數據生成器網絡重復輸出第一合成先前數據(Previous Data)的過程，使得第一合成先前數據具有預設的第二體積，并參考生成用于第一當前學習(Current?Learning)的第一批次(Batch)；以及步驟(b)，使神經網絡生成與第一批次對應的輸出信息(Output Information)，本發(fā)明可以進行防止侵犯隱私、如存儲裝置的資源優(yōu)化以及訓練圖像采樣過程的優(yōu)化，并可通過對抗生成網絡(Generative Adversarial Network，GAN)的學習過程進行。

技術領域

本發(fā)明涉及一種用于無人駕駛汽車、虛擬駕駛等的學習方法和學習裝置以及測試方法和測試裝置，更具體地，涉及一種設備上持續(xù)學習(On-Device Continual Learning)用于分析輸入數據的神經網絡(Neural Network)的所述學習方法和所述學習裝置以及利用其的所述測試方法和所述測試裝置。

背景技術

通常，深度學習(Deep learning)被定義為通過多種非線性變換技術的組合來試圖實現高水平的抽象的機器學習算法的集合，是在一個大框架中使計算機學習人的思考方式的機器學習的一個領域。

將某些數據表示為計算機可讀形式，作為一例，將圖像的像素信息表示為列向量，并正在開展將其應用于機器學習中的各種研究。通過這些努力的結果，如深度神經網絡(Deep Neural Network，DNN)、卷積神經網絡(Convolutional Neural Network，CNN)、循環(huán)神經網絡(Recurrent Neural Network，RNN)等各種深度學習技術應用于計算機視覺、語音識別、自然語言處理以及語音/信號處理等領域中，并且開發(fā)了顯示高性能的深度學習網絡。

這種深度學習網絡正在向更深層次(Deep)和更多特征(Feature)的大規(guī)模模型發(fā)展，以提高識別性能。

尤其，由于需要大規(guī)模訓練數據與高計算能力，在服務器上在線完成深度學習網絡的學習。

然而，在因隱私問題而無法出于學習目的來將個人數據傳輸到服務器的個人移動裝置(personal mobile device)環(huán)境，或在裝置脫離通信網絡的情況較多的軍隊、無人機或船舶環(huán)境下，無法在服務器中學習。

因此，在無法在服務器上進行學習的本地裝置中需要在進行深度學習網絡的設備上學習(On-Device Learning)。

然而，進行設備上學習的本地裝置沒有或缺少存儲訓練數據的空間，因此難以進行設備上學習。

并且，當使用新訓練數據學習深度學習網絡時，若新的訓練數據與過去的訓練數據不同，則深度學習網絡會逐漸忘記過去所學的內容，結果將發(fā)生災難性遺忘(catastrophic forgetting)問題。

另外，還存在當在本地裝置(Local Device)中進行設備上學習時需要較大的計算能力且學習本身需要大量時間的缺點。

發(fā)明內容

本發(fā)明的目的在于解決所有上述問題。

本發(fā)明的再一目的在于，在進行設備上學習的本地裝置中無需存儲訓練數據也可繼續(xù)利用于學習上。

本發(fā)明的另一目的在于，在學習新的訓練數據的學習中，無需存儲訓練數據也可使用過去的訓練數據。

本發(fā)明的還一目的在于，在設備上進行學習的本地裝置上，可進行對于神經網絡的設備上學習，而不發(fā)生災難性遺忘現象。