[發明專利]模型推理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110499196.3
• 申請日: 2021-05-08
• 公開（公告）號: CN113139660A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 趙二城
• 申請（專利權）人: 北京首都在線科技股份有限公司
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06F8/61;G06F9/455;G06K9/00;G06K9/34;G06K9/62
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 鄧海鴻;閻敏

1.一種模型推理方法，包括：

使用應用容器引擎鏡像啟動預置的人工智能模型；

根據輸入數據的類型和推理需求，在所述預置的人工智能模型中確定多個目標模型；

設置所述多個目標模型的優先級；

根據所述優先級運行所述多個目標模型進行推理，得到推理結果。

2.根據權利要求1所述的方法，其中，所述根據輸入數據的類型和推理需求，在所述預置的人工智能模型中確定多個目標模型，包括：

根據輸入數據的類型，在所述預置的人工智能模型中確定與所述類型對應的模型；

在確定的模型中選出與推理需求匹配的多個目標模型。

3.根據權利要求2所述的方法，其中，所述根據輸入數據的類型，在所述預置的人工智能模型中確定與該類型對應的模型，包括：

在輸入數據的類型包括圖片的情況下，在所述預置的人工智能模型中選出圖片處理模型；

在輸入數據的類型包括視頻的情況下，在所述預置的人工智能模型中選出視頻處理模型。

4.根據權利要求1所述的方法，其中，所述設置所述多個目標模型的優先級，包括：

解析出所述多個目標模型的輸入數據和輸出數據的特征；

根據所述輸入數據和輸出數據的特征，確定所述多個目標模型的優先級。

5.根據權利要求1所述的方法，其中，根據所述優先級運行所述多個目標模型進行推理，得到推理結果，包括：

按照所述優先級的先后順序，運行所述多個目標模型進行推理，得到推理結果，其中具有相同優先級的目標模型并列執行。

6.根據權利要求1所述的方法，其中，所述根據輸入數據的類型和推理需求，在所述預置的人工智能模型中確定多個目標模型，包括：

若輸入數據包括視頻文件且推理需求為人臉識別，則在所述預置人工智能模型中選出視頻文件處理模型、人臉識別模型，以及用于銜接所述視頻文件處理模型和人臉識別模型的至少一個中間處理模型。

7.根據權利要求6所述的方法，其中，所述設置所述多個目標模型的優先級，包括：

分別解析出所述人臉識別模型、視頻文件處理模型以及至少一個中間處理模型的輸入數據和輸出數據的特征；

根據所述輸入數據和輸出數據的特征，確定所述人臉識別模型、視頻文件處理模型以及至少一個中間處理模型的執行順序；

根據所述執行順序確定所述人臉識別模型、視頻文件處理模型以及至少一個中間處理模型的優先級。

8.一種模型推理裝置，包括：

啟動模塊，用于使用應用容器引擎鏡像啟動預置的人工智能模型；

確定模塊，用于根據輸入數據的類型和推理需求，在所述預置的人工智能模型中確定多個目標模型；

設置模塊，用于設置所述多個目標模型的優先級；

推理模塊，用于根據所述優先級運行所述多個目標模型進行推理，得到推理結果。

9.根據權利要求8所述的裝置，其中，所述確定模塊包括：

類型對應單元，用于根據輸入數據的類型，在所述預置的人工智能模型中確定與該類型對應的模型；

需求匹配單元，用于在確定的模型中選出與推理需求匹配的多個目標模型。

10.根據權利要求9所述的裝置，其中，所述類型對應單元用于：

在輸入數據的類型包括圖片的情況下，在所述預置的人工智能模型中選出圖片處理模型；

在輸入數據的類型包括視頻的情況下，在所述預置的人工智能模型中選出視頻處理模型。

11.根據權利要求8所述的裝置，其中，所述設置模塊包括：

解析單元，用于解析出所述多個目標模型的輸入數據和輸出數據的特征；

優先級設置單元，用于根據所述輸入數據和輸出數據的特征，設置所述多個目標模型的優先級。