[發明專利]基于預訓練范式模型的預測部署系統、方法、裝置及介質

有效

• 申請號: 202011505461.6
• 申請日: 2020-12-18
• 公開（公告）號: CN112507102B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 王晨秋
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06N20/00
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 谷春靜

1.一種基于預訓練范式模型的預測部署系統，包括：部署模塊、數據預處理模塊以及預測模塊；

所述部署模塊，用于針對用戶的任務請求，將本次任務請求對應的原始文本數據發送給所述數據預處理模塊，獲取所述數據預處理模塊返回的預處理結果，將所述預處理結果發送給所述預測模塊，并獲取所述預測模塊返回的預測結果，提供給所述用戶；

所述數據預處理模塊，用于對所述原始文本數據進行預處理，得到符合預測要求的預處理結果，包括：從用戶提供的配置文件中獲取切字類字符串，根據所述切字類字符串確定出所述原始文本數據對應的切字方式，利用所述切字方式對應的分詞器Tokenizer類，將所述原始文本數據切分為Token序列，根據所述Token序列獲取所述原始文本數據對應的標識id序列，將所述id序列拷貝到所創建的張量Tensor結構數據中，將所述Tensor結構數據作為所述預處理結果，發送給所述部署模塊；

所述預測模塊，用于調用深度學習框架的預測引擎，并獲取所述預測引擎根據所述預處理結果進行預測后返回的預測結果，發送給所述部署模塊。

2.根據權利要求1所述的系統，還包括：鑒權統計模塊；

所述部署模塊進一步用于，將獲取到的所述用戶的鑒權信息發送給所述鑒權統計模塊，并獲取所述鑒權統計模塊返回的鑒權結果，若鑒權結果為鑒權成功，則將所述原始文本數據發送給所述數據預處理模塊；

所述鑒權統計模塊，用于根據所述用戶的鑒權信息對所述用戶進行鑒權，并將鑒權結果發送給所述部署模塊。

3.根據權利要求2所述的系統，其中，

所述鑒權統計模塊進一步用于，將本次任務請求對應的預定信息保存到數據庫中。

4.根據權利要求1所述的系統，其中，

所述數據預處理模塊的切字操作采用工廠模式的設計方式。

5.根據權利要求1所述的系統，其中，

所述深度學習框架包括：飛槳PaddlePaddle深度學習框架；

所述預測引擎包括：分析預測器AnalysisPredictor預測引擎。

6.根據權利要求1所述的系統，其中，

所述預測模塊采用工廠模式的設計方式，并利用所述原始文本數據對應的任務類型對應的預測Infer類，得到所述預測結果。

7.根據權利要求1所述的系統，其中，

所述系統支持以下硬件類型：中央處理器CPU、圖形處理器GPU以及昆侖芯片。

8.根據權利要求1所述的系統，其中，

所述系統支持以下部署模式：C++應用程序接口API模式、百度開源遠程過程調用協議服務器BRPC Server模式以及離線工具模式。

9.一種基于預訓練范式模型的預測部署方法，包括：

針對用戶的任務請求，預測部署系統將本次任務請求對應的原始文本數據進行預處理，得到符合預測要求的預處理結果，包括：從用戶提供的配置文件中獲取切字類字符串，根據所述切字類字符串確定出所述原始文本數據對應的切字方式，利用所述切字方式對應的分詞器Tokenizer類，將所述原始文本數據切分為Token序列，根據所述Token序列獲取所述原始文本數據對應的標識id序列，將所述id序列拷貝到所創建的張量Tensor結構數據中，將所述Tensor結構數據作為所述預處理結果；

所述預測部署系統調用深度學習框架的預測引擎，并獲取所述預測引擎根據所述預處理結果進行預測后返回的預測結果，提供給所述用戶。

10.根據權利要求9所述的方法，還包括：

所述預測部署系統根據所述用戶的鑒權信息對所述用戶進行鑒權，若鑒權結果為鑒權成功，則對所述原始文本數據進行預處理。

11.根據權利要求10所述的方法，還包括：

所述預測部署系統將本次任務請求對應的預定信息保存到數據庫中。