[發明專利]基于遠程推理的分布式人工智能實踐平臺

有效

• 申請號: 202210093053.7
• 申請日: 2022-01-26
• 公開（公告）號: CN114707646B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 郝家勝;汪洋;陶珉;王培丞;彭知南
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N5/04;H04L67/56
• 代理公司: 成都行之智信知識產權代理有限公司 51256
• 代理人: 溫利平

本發明公開了一種基于遠程推理的分布式人工智能實踐平臺，將人工智能模型劃分為預處理組件、后處理組件和推理組件，將預處理組件和后處理組件運行在應用端，將推理組件運行在布置于神經網絡計算設備上的模型端，多個應用端復用一個模型端的推理組件，或多個應用端通過集成服務器復用多個模型端的推理組件，實現了人工智能模型的推理。本發明通過將人工智能應用和神經網絡計算設備進行分離，實現神經網絡算力資源的遠程復用，在降低人工智能實踐平臺構建成本的同時，還可提高教學實踐的靈活性，從而提高人工智能教學質量。

技術領域

本發明屬于人工智能教學技術領域，更為具體地講，涉及一種基于遠程推理的分布式人工智能實踐平臺。

背景技術

當前，《深度學習》相關課程作為人工智能相關專業的核心課程之一，國內教學效果還存在較大差距，難以提升課程深度和難度。近年來，諸多高校也已開設深度學習類課程，但國內相關文獻表明，該類課程在內容定位、教學手段、實踐教學等方面還存在明顯不足，特別是難以開展具體的實踐環節，僅僅停留在課堂學習的一知半解狀態，導致教學內容還難以跟上前沿新進展。

機器學習課程實踐難以開展的主要原因之一是缺乏可行的實踐平臺。業界流行的深度學習框架繁多復雜，且需要中大型GPU(Graphics?Processing?Unit，圖形處理器)服務器等昂貴設備支持，學校一般不具備實際條件。市場上提供的商用教學實踐平臺服務，由軟件公司構建并提供服務，成本高且實踐項目受限于提供商，難以靈活滿足教學需要。

傳統的人工智能實踐模式下，將深度學習推理應用完整地運行與GPU或Altas200DK等深度神經網絡計算設備，因此受限于物理連接，造成對物理計算資源的依賴，實踐軟件環境配置復雜，且實踐平臺構建成本居高不下、利用率極其低下，無法構建復雜度較高的實踐項目，難以滿足人工智能教學實踐需要。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于遠程推理的分布式人工智能實踐平臺，通過將人工智能應用和神經網絡計算設備進行分離，實現神經網絡算力資源的遠程復用，在降低人工智能實踐平臺構建成本的同時，還可提高教學實踐的靈活性，從而提高人工智能教學質量。

為了實現上述發明目的，本發明基于遠程推理的分布式人工智能實踐平臺包括N個應用端，N個遠程代理模塊和1個模型端，其中：

應用端布置在CPU通用計算設備上，用于運行人工智能模型的預處理組件和后處理組件；應用端接收用戶配置的人工智能模型信息和人工智能模型輸入數據，由人工智能模型的預處理組件對輸入數據進行預處理，根據需要選擇編碼器對輸入數據進行編碼，將編碼后的輸入數據連同人工智能模型信息一起生成推理請求，將推理請求通過對應的遠程代理模塊發送至模型端；應用端接收從模型端返回的編碼后的推理結果，進行解碼后由人工智能模型的后處理組件對解碼后的推理結果進行后處理，將得到的推理結果對用戶進行輸出；

遠程代理模塊用于實現對應的應用端和模型端之間的通信，完成編碼后的輸入數據和編碼后的推理結果的傳輸；

模型端布置在神經網絡計算設備上，用于運行人工智能模型的推理組件，完成人工智能模型的推理；模型端從應用端接收推理請求，提取出編碼后的輸入數據和人工智能模型信息，根據人工智能模型信息確定所需調用的人工智能模型的推理組件，將編碼后的輸入數據進行解碼，根據所調用人工智能模型推理組件規定的輸入格式對解碼后的輸入數據進行預處理，然后輸入所調用的推理組件進行推理得到推理結果，將推理結果按照所調用人工智能模型推理組件規定的輸出格式進行后處理，將得到的推理結果進行編碼后通過對應的遠程代理模塊返回至推理請求對應的應用端。

本發明還提供了另一種基于遠程推理的分布式人工智能實踐平臺，包括N個應用端，N個遠程代理模塊，1個集群服務器和M個模型端，其中：