[發明專利]一種基于多模態，分布式TinyML和物聯網的推理方法及裝置

在審

• 申請號: 202310439372.3
• 申請日: 2023-04-23
• 公開（公告）號: CN116489189A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 金長新;朱翔宇;李銳;魏子重
• 申請（專利權）人: 山東浪潮科學研究院有限公司
• 主分類號: H04L67/12
• 分類號: H04L67/12;H04L41/14;H04L12/66;G06N5/043
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜鵬

1.一種基于多模態，分布式TinyML和物聯網的推理方法，其特征在于：所述推理方法包括以下步驟：

部署多模態的具備TinyML模型的分布式設備，打造端側設備的分布式智能推理能力；通過網關設備接收多模態數據。

2.一種根據權利要求1所述的基于多模態，分布式TinyML和物聯網的推理方法用的基于多模態，分布式TinyML和物聯網的推理裝置，其特征在于：所述推理裝置包括多模態數據、分布式TinyML、網關設備和微控制器設備，網關設備結合物聯網通訊模塊接收并輸入來自不同設備的多模態數據，通過分布式TinyML模型進行推理。

3.根據權利要求2所述的一種基于多模態，分布式TinyML和物聯網的推理裝置，其特征在于：多模態數據流來自端側的不同設備，模態和設備的數據會分為兩路；一路數據會在設備本身進行處理，另一路數據通過物聯網傳輸模塊發送到網關設備端進行處理。

4.根據權利要求2所述的一種基于多模態，分布式TinyML和物聯網的推理裝置，其特征在于：分布式TinyML由多個傳感器和微控制器的設備組成，在微控制器中部署TinyML模型，TinyML模型的部署是通過網關設備內置的TinyML模型庫，利用OTA技術進行模型的下發。

5.根據權利要求2所述的一種基于多模態，分布式TinyML和物聯網的推理裝置，其特征在于：網關設備內置的TinyML模型支持多模態數據的輸入，在傳輸的過程中，多模態數據在本地進行傳輸之前進行數據的16進制編碼，通過物聯網傳輸模塊發送至網關設備端，網關設備對16進制的數據進行解碼，多模態數據進行統一的數據格式整理作為模型的輸入，通過TinyML模型進行結果推理。

6.根據權利要求2所述的一種基于多模態，分布式TinyML和物聯網的推理裝置，其特征在于：微控制器作為多模態數據的硬件設備端，不同模態的數據代表不同類型的傳感器，每個端側設備都會集成傳感器+微控制器+LoRa模組的方式；TinyML模型會部署在微控制器內部，數據通過模型輸出推理結果，不同模態的數據通過LoRa模組進行無線傳輸，發送至網關設備端。