[發明專利]邊緣人工智能裝置、電子裝置及其方法

在審

• 申請號: 202011561010.4
• 申請日: 2020-12-25
• 公開（公告）號: CN114037882A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 嚴在君
• 申請（專利權）人: 三星電機株式會社
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 田碩;王春芝

提供一種邊緣人工智能裝置、電子裝置及其方法。邊緣人工智能裝置包括：一個或更多個第一神經網絡層和一個或更多個第二神經網絡層，分別包括多個第一單元和多個第二單元，其中，一個或更多個第一神經網絡層中的一個第一神經網絡層連接到一個或更多個第二神經網絡層中的一個第二神經網絡層，對于一個或更多個第一神經網絡層和一個或更多個第二神經網絡層的操作，邊緣人工智能裝置被配置為根據一個或更多個第一神經網絡層的從邊緣人工智能裝置的外部接收并在邊緣人工智能裝置的外部訓練的第一權重信息執行操作，邊緣人工智能裝置被配置為基于通過邊緣人工智能裝置對一個或更多個第二神經網絡層的第二權重信息的訓練，根據第二權重信息執行操作。

本申請要求于2020年7月20日在韓國知識產權局提交的第10-2020-0089662號韓國專利申請的優先權的權益，該韓國專利申請的公開內容出于所有目的通過引用被全部包含于此。

技術領域

本公開涉及一種邊緣人工智能裝置和方法。

背景技術

當前正在開發的許多人工智能服務通過人工智能云(AI云)執行學習和推理，其中，終端(例如，移動電話或人工智能音箱裝置)通過傳感器收集信息并將所述信息發送到AI云，然后AI云的許多處理器或服務器可執行AI計算以用于學習和推理。例如，一種這樣的方法：由AI音箱捕獲的語音查詢被發送到AI云的服務器，AI云的處理器或服務器確定答案，然后將答案發送回音箱。對于訓練或學習，在AI云水平上對人工智能形態(例如，一個或更多個神經網絡)進行訓練，而不需要對在終端中使用的任何人工智能形態進行訓練。由于底層硬件的實質處理能力(例如，使用連接的和/或分布式服務器架構，大約1000tops(每秒萬億次操作)，例如，每秒1000萬億次操作(整型、浮點型等))，因此通常期望基于AI云的推理以及AI云訓練或學習。

然而，利用這種基于AI云的推理方法，將始終存在用于對收集到的信息編碼和向AI云轉發收集到的信息或捕獲到的查詢所需的最小時間量、AI云基于AI云的人工智能服務的訓練來確定結果所需的時間以及從AI云接收并對結果進行解碼所需的時間。此外，因為這種AI云方法需要遠程通信，還存在易受黑客攻擊的弱點。

因此，另一種方法是由終端通過終端的邊緣人工智能(AI)芯片在本地實現所有訓練和推理。隨著邊緣人工智能(邊緣AI)芯片的性能提高，預期數據量將增加并且邊緣AI芯片將提供更好的服務。然而，與當前AI云服務計算速度相比，由于終端尺寸和邊緣AI芯片的限制，預期邊緣AI處理速度將能夠提供非常有限的服務。例如，由于在典型的邊緣AI計算中的處理能力的限制，邊緣AI芯片的功能的可用性非常有限，只有5-10tops(每秒萬億次操作)。在這種情況下，預期可在一個邊緣AI芯片或IC中執行的功能非常有限，并且為了執行多個功能，預期執行不同的相應功能的裝置將需要許多NPU IC。

例如，AI工程師可通過考慮將各種輸入信號作為神經網絡的輸入來開發裝置，并且可通過神經網絡的每層中的算法來執行復雜的計算，以獲得期望的推斷輸出。在這種情況下，為了通過提高計算的準確性來分析準確的信息，可針對期望的推斷目標反復地分配和訓練神經網絡的各種權重。當為各種神經網絡層中的許多單元中的每個之間的連接設置權重時，可執行更多的解釋。中間層的數量越多，獲得更好性能的可能性越大，但是如果使用太多的層，那么針對每個適當的層通過各種訓練(例如，通過損失的反向傳播)需要太多的訓練時間。如上所述，AI云方法具有的速度能夠實現通過AI云訓練許多層，并且使用那些經訓練的層用于來自終端的輸入請求。然而，在終端中的邊緣AI的示例中，通過邊緣AI進行訓練通常是不切實際的，特別是當層的數量和每層的節點/單元的數量增加時。

發明內容

提供本發明內容以簡化的形式介紹所選擇的構思，并在以下具體實施方式中進一步描述這些構思。本發明內容既不意在明確所要求保護的主題的關鍵特征或必要特征，也不意在用作幫助確定所要求保護的主題的范圍。