[發明專利]選擇對應于當前狀態的動作的神經網絡設備及其方法

在審

• 申請號: 202010411270.7
• 申請日: 2020-05-15
• 公開（公告）號: CN112200309A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 吳成會;崔潤鎬;李炅宰
• 申請（專利權）人: 三星電子株式會社;首爾大學校產學協力團
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 邵亞麗

一種神經網絡設備和使用該設備的動作選擇方法，其基于值返回來選擇對應于當前狀態的動作。一種由至少一個處理器執行的基于深度學習來選擇動作的方法，包括接收當前狀態作為輸入，計算與要對當前狀態執行的多個動作中的每一個相對應的值分布，以及基于值分布從多個動作當中選擇最優動作，其中值分布包括遵循高斯分布的至少一個高斯圖。

相關申請的交叉引用

本申請要求在韓國知識產權局于2019年5月17日提交的韓國專利申請 第10-2019-0058376號和2020年2月5日提交的韓國專利申請第10-2020- 0013731號的權益，其公開通過引用而整體并入本文。

技術領域

本發明構思涉及一種神經網絡設備，并且更具體地，涉及一種神經網絡 設備和使用該神經網絡設備的動作選擇方法，其基于值返回來選擇對應于當 前狀態的動作。

背景技術

神經網絡是指通過對生物大腦建模而獲得的計算架構。最近，隨著神經 網絡技術的進步，對于通過使用利用一個或多個神經網絡模型的神經網絡設 備來分析輸入數據并提取各種種類的電子設備中的有效信息的研究正在積極 進行。

機器學習是使用神經網絡的人工智能(Artificial Intelligence，AI)的領域，并且表示將數據輸入到計算機以允許計算機學習數據從而生成新知識的技術。 具體地，作為一種機器學習技術的神經網絡領域已經大大進步，并因此深度 學習已經得以發展。

深度學習是一種基于人工神經網絡的機器學習技術，并且盡管人工神經 網絡被設計為多層結構并因此被深化，但是可以對用于學習的數據片段執行 無監督學習預處理，從而提高學習效率。具體地，基于互聯網的大數據和對 于處理大數據的計算性能已經得以提高，并因此深度學習已經快速進步。

發明內容

本發明構思提供了一種神經網絡設備和使用該神經網絡設備的動作選擇 方法，其基于值返回來選擇對應于當前狀態的最優動作。

本發明構思提供了一種神經網絡設備和使用該神經網絡設備的動作選擇 方法，其確定用于選擇最優動作的內核權重。

根據本發明構思的一方面，提供了一種由包括神經網絡設備的設備執行 的基于深度學習來選擇動作的方法，包括由神經網絡設備接收當前狀態作為 輸入，由神經網絡設備計算與要對當前狀態執行的多個動作中的每一個相對 應的值分布，以及由神經網絡設備基于值分布從多個動作當中選擇動作，其 中，值分布包括遵循高斯分布的至少一個高斯圖。

根據本發明構思的另一方面，提供了一種由包括神經網絡設備的設備執 行的基于深度學習來選擇動作的方法，該方法包括由神經網絡設備接收當前 狀態作為輸入，由神經網絡設備通過使用權重內核對與當前狀態相對應的輸 入特征圖執行卷積運算，以及由神經網絡設備設置權重內核，以用于最小化 與當前狀態相對應的第一值分布和與當前狀態的計算值相對應的第二值分布 之間的距離差，其中，第一值分布包括與當前狀態的值返回相對應的多個第 一高斯圖，以及第二值分布包括與當前狀態的下一狀態的值返回和多個動作 的值返回的總和相對應的多個第二高斯圖。

根據本發明構思的另一方面，提供了一種神經網絡設備，包括：深度學 習模塊，被配置為接收當前狀態并通過使用深度學習模型來計算與要對當前 狀態執行的多個動作中的每一個相對應的值分布；以及后處理模塊，被配置 為基于值分布從多個動作當中選擇最優動作，其中，值分布包括遵循高斯分 布的至少一個高斯圖。

附圖說明

從結合附圖的以下詳細描述中，將更清楚地理解本發明構思的示例實施 例，其中：

圖1是示出根據實施例的電子系統的框圖；

圖2是示出根據實施例的電子系統的框圖；

圖3是示出根據實施例的神經網絡設備的框圖；