[發(fā)明專(zhuān)利]一種自然語(yǔ)言處理的集成平臺(tái)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010922615.5
• 申請(qǐng)日: 2020-09-04
• 公開(kāi)（公告）號(hào): CN112035622A
• 公開(kāi)（公告）日: 2020-12-04
• 發(fā)明（設(shè)計(jì)）人: 祝彥森;王碩;徐凱波
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海明略人工智能（集團(tuán)）有限公司
• 主分類(lèi)號(hào): G06F16/33
• 分類(lèi)號(hào): G06F16/33;G06F16/35;G06F40/205;G06F40/284;G06F40/295
• 代理公司: 青島清泰聯(lián)信知識(shí)產(chǎn)權(quán)代理有限公司 37256
• 代理人: 李紅巖

1.一種自然語(yǔ)言處理方法的集成平臺(tái),其特征在于，包括：

數(shù)據(jù)層，將非結(jié)構(gòu)化數(shù)據(jù)以及結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，處理為適用于不同接口的數(shù)據(jù)；

核心能力層，用于生成不同各自獨(dú)立的目標(biāo)組件；

應(yīng)用層，用于供客戶(hù)根據(jù)自身需求選擇相應(yīng)目標(biāo)組件。

2.根據(jù)權(quán)利要求1所述的一種自然語(yǔ)言處理方法集成平臺(tái)，其特征在于，所述核心能力層包括：

基礎(chǔ)算法層，使用開(kāi)源庫(kù)進(jìn)行底層算法的開(kāi)發(fā)，學(xué)習(xí)數(shù)據(jù)特征，進(jìn)行基礎(chǔ)的文本分析；

算法層，在所述基礎(chǔ)算法層的進(jìn)行基礎(chǔ)文本分析的基礎(chǔ)上進(jìn)行復(fù)雜的文本分析；

接口層，對(duì)外提供公共訪問(wèn)方式，將算法模型進(jìn)行統(tǒng)一封裝成接口的形式以供前端進(jìn)行調(diào)用；

服務(wù)層，對(duì)算法模塊接口進(jìn)行統(tǒng)一管理，將自然語(yǔ)言處理相關(guān)的各算法統(tǒng)一封裝，生成各自獨(dú)立的目標(biāo)組件。

3.根據(jù)權(quán)利要求2所述的一種自然語(yǔ)言處理方法集成平臺(tái)，其特征在于，所述算法層包括：在所述基礎(chǔ)算法層的基礎(chǔ)上實(shí)現(xiàn)高級(jí)算法文本任務(wù)模塊。

4.根據(jù)權(quán)利要求3所述的一種自然語(yǔ)言處理方法集成平臺(tái)，其特征在于，所述基礎(chǔ)算法層包括進(jìn)行基礎(chǔ)文本分析技術(shù)的基礎(chǔ)算法模塊，使用開(kāi)源庫(kù)進(jìn)行底層算法的開(kāi)發(fā)。

5.根據(jù)權(quán)利要求2所述的一種自然語(yǔ)言處理方法集成平臺(tái)，其特征在于，所述接口層提供分詞接口、Word2Vec接口、TF-IDF接口、關(guān)鍵詞提取接口、命名實(shí)體識(shí)別接口、依存句法分析接口、自動(dòng)摘要接口、情感分析接口、文本分類(lèi)接口、文本聚類(lèi)接口這10個(gè)算法模塊接口；

所述接口層對(duì)外提供公共訪問(wèn)方式，將算法模型進(jìn)行統(tǒng)一封裝成接口的形式以供前端進(jìn)行調(diào)用，前端通過(guò)調(diào)用接口來(lái)達(dá)到使用后端算法的效果。

6.根據(jù)權(quán)利要求5所述的一種自然語(yǔ)言處理方法集成平臺(tái)，其特征在于，所述接口層使用flask服務(wù)實(shí)現(xiàn)http接口。

7.根據(jù)權(quán)利要求2所述的一種自然語(yǔ)言處理方法集成平臺(tái)，其特征在于，所述服務(wù)層包括模型管理模塊、語(yǔ)料管理模塊、詞典管理模塊；

所述服務(wù)層基于業(yè)務(wù)場(chǎng)景使用模型管理模塊、語(yǔ)料管理模塊、詞典管理模塊的接口進(jìn)行數(shù)據(jù)、模型的更換，生成各自獨(dú)立的目標(biāo)組件。

8.根據(jù)權(quán)利要求3或4所述的一種自然語(yǔ)言處理方法集成平臺(tái)，其特征在于，所述基礎(chǔ)算法層以及所述算法層的算法的具體實(shí)現(xiàn)過(guò)程為：

1)通過(guò)所述接口層的文件上傳接口將模型訓(xùn)練數(shù)據(jù)或文件上傳到服務(wù)器端；

2)用戶(hù)判斷模型是否需要訓(xùn)練，將實(shí)施過(guò)程分為以下兩種情況：

①模型不需要訓(xùn)練，則用戶(hù)可以直接使用現(xiàn)有模型，也可以使用接口層的模型文件上傳接口，將預(yù)訓(xùn)練好的模型文件或開(kāi)源的模型文件進(jìn)行上傳到服務(wù)器對(duì)應(yīng)調(diào)用模型進(jìn)行使用的目錄下，通過(guò)上傳后的模型調(diào)用模型預(yù)測(cè)接口進(jìn)行后續(xù)的預(yù)測(cè)任務(wù)；

②模型需要重新訓(xùn)練，則用戶(hù)上傳需要進(jìn)行訓(xùn)練的數(shù)據(jù)，基于訓(xùn)練數(shù)據(jù)調(diào)用模型訓(xùn)練接口進(jìn)行模型的訓(xùn)練，將訓(xùn)練好的模型使用接口層的模型添加接口添加到支持的模型列表中，添加后使用模型預(yù)測(cè)接口對(duì)訓(xùn)練好的模型進(jìn)行相關(guān)任務(wù)；

3)模型文件都通過(guò)接口層的模型下載接口和模型刪除接口對(duì)模型文件進(jìn)行處理。

9.一種自然語(yǔ)言處理方法，其特征在于，應(yīng)用上述權(quán)利要求1-8任一項(xiàng)所述集成平臺(tái)，所述自然語(yǔ)言處理方法包括以下步驟：

通過(guò)數(shù)據(jù)層進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)以及結(jié)構(gòu)化數(shù)據(jù)處理，處理為適用于不同接口的數(shù)據(jù)；

通過(guò)核心能力層生成不同各自獨(dú)立的目標(biāo)組件；

通過(guò)應(yīng)用層客戶(hù)根據(jù)自身需求選擇相應(yīng)目標(biāo)組件。

10.根據(jù)權(quán)利要求9所述的一種自然語(yǔ)言處理方法，其特征在于，所述通過(guò)核心能力層生成目標(biāo)組件的步驟中包括：

通過(guò)基礎(chǔ)算法層進(jìn)行基礎(chǔ)文本分析，使用開(kāi)源庫(kù)進(jìn)行底層算法開(kāi)發(fā)；

通過(guò)算法層在基礎(chǔ)算法層的基礎(chǔ)上實(shí)現(xiàn)高級(jí)算法文本分析技術(shù)；

通過(guò)接口層對(duì)外提供公共訪問(wèn)方式，將算法模型進(jìn)行統(tǒng)一封裝成接口的形式以供前端進(jìn)行調(diào)用；

通過(guò)服務(wù)層基于業(yè)務(wù)場(chǎng)景使用模型管理模塊、語(yǔ)料管理模塊、詞典管理模塊的接口進(jìn)行數(shù)據(jù)、模型的更換，生成各自獨(dú)立的目標(biāo)組件。