[發明專利]基于遠程推理的分布式人工智能實踐平臺

有效

• 申請號: 202210093053.7
• 申請日: 2022-01-26
• 公開（公告）號: CN114707646B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 郝家勝;汪洋;陶珉;王培丞;彭知南
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N5/04;H04L67/56
• 代理公司: 成都行之智信知識產權代理有限公司 51256
• 代理人: 溫利平

1.一種基于遠程推理的分布式人工智能實踐平臺，其特征在于，包括N個應用端，N個遠程代理模塊和1個模型端，其中：

應用端布置在CPU通用計算設備上，用于運行人工智能模型的預處理組件和后處理組件；應用端接收用戶配置的人工智能模型信息和人工智能模型輸入數據，由人工智能模型的預理組件對輸入數據進行預處理，根據需要選擇編碼器對輸入數據進行編碼，將編碼后的輸入數據連同人工智能模型信息一起生成推理請求，將推理請求通過對應的遠程代理模塊發送至模型端；應用端接收從模型端返回的編碼后的推理結果，進行解碼后由人工智能模型的后處理組件對解碼后的推理結果進行后處理，將得到的推理結果對用戶進行輸出；

遠程代理模塊用于實現對應的應用端和模型端之間的通信，完成編碼后的輸入數據和編碼后的推理結果的傳輸；

模型端布置在神經網絡計算設備上，用于運行人工智能模型的推理組件，完成人工智能模型的推理；模型端從應用端接收推理請求，提取出編碼后的輸入數據和人工智能模型信息，根據人工智能模型信息確定所需調用的人工智能模型的推理組件，將編碼后的輸入數據進行解碼，根據所調用人工智能模型推理組件規定的輸入格式對解碼后的輸入數據進行預處理，然后輸入所調用的推理組件進行推理得到推理結果，將推理結果按照所調用人工智能模型推理組件規定的輸出格式進行后處理，將得到的推理結果進行編碼后通過對應的遠程代理模塊返回至推理請求對應的應用端。

2.根據權利要求1所述的分布式人工智能實踐平臺，其特征在于，所述人工智能模型中的預處理組件和后處理組件是通過繼承與重寫通用推理模型Inference?Model這一父類所構建的模型子類。

3.根據權利要求1所述的分布式人工智能實踐平臺，其特征在于，所述人工智能模型中的推理組件是通過繼承與重寫通用推理模型GPU/NPU?Model這一父類所構建的模型子類。

4.一種基于遠程推理的分布式人工智能實踐平臺，其特征在于，包括N個應用端，N個遠程代理模塊，1個集群服務器和M個模型端，其中：

應用端布置在CPU通用計算設備上，用于運行人工智能模型的預處理組件和后處理組件；應用端接收用戶配置的人工智能模型信息和人工智能模型輸入數據，由人工智能模型的預處理組件對輸入數據進行預處理，根據需要選擇編碼器對輸入數據進行編碼，將編碼后的輸入數據連同人工智能模型信息一起生成推理請求，將推理請求通過對應的遠程代理模塊發送至模型端；應用端接收從模型端返回的編碼后的推理結果，進行解碼后由人工智能模型的后處理組件對解碼后的推理結果進行后處理，將得到的推理結果對用戶進行輸出；

遠程代理模塊用于實現對應的應用端和集群服務器之間的通信，完成編碼后的輸入數據和編碼后的推理結果的傳輸；

集群服務器用于監控M個模型端的運行情況，根據應用端上傳的推理請求中的人工智能模型信息，將推理請求分配至可用的模型端，接收從模型端返回的編碼后的推理結果并通過遠程代理模塊傳輸至推理請求對應的應用端；

模型端布置在神經網絡計算設備上，用于運行人工智能模型的推理組件，完成人工智能模型的推理；模型端從集群服務器接收推理請求，提取出編碼后的輸入數據和人工智能模型信息，根據人工智能模型信息確定所需調用的人工智能模型的推理組件，將編碼后的輸入數據進行解碼，根據所調用人工智能模型推理組件規定的輸入格式對解碼后的輸入數據進行預處理，然后輸入所調用的人工智能模型推理組件進行推理得到推理結果，將推理結果按照所調用人工智能模型推理組件規定的輸出格式進行后處理，將得到的推理結果進行編碼后返回至集群服務器。

5.根據權利要求4所述的分布式人工智能實踐平臺，其特征在于，所述人工智能模型中的預處理組件和后處理組件是通過繼承與重寫通用推理模型Inference?Model這一父類所構建的模型子類。

6.根據權利要求4所述的分布式人工智能實踐平臺，其特征在于，所述集群服務器采用Zmq技術構建，通過broker代理機制實現。