[發明專利]基于BERT的文本數據處理方法及裝置

在審

• 申請號: 202110261106.7
• 申請日: 2021-03-10
• 公開（公告）號: CN112989041A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 張詔澤
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/284;G06K9/62
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 賈磊;李輝

1.一種基于BERT的文本數據處理方法，其特征在于，包括：

獲取待處理文本數據；

將所述待處理文本數據的原始詞向量，輸入到預先訓練好的BERT語言模型中，輸出所述待處理文本數據中各個字或詞融合上下文信息的向量表示結果；

將所述BERT語言模型輸出的向量表示結果，與所述待處理文本數據中除上下文信息之外的其他結構化特征進行特征融合，得到融合后的特征向量；

將融合后的特征向量，輸入到預先訓練好的機器分類模型中，輸出所述待處理文本數據的分類結果。

2.如權利要求1所述的方法，其特征在于，所述機器分類模型為二分類模型。

3.如權利要求2所述的方法，其特征在于，所述待處理文本數據為審核業務系統中的告警報文數據；所述二分類模型的分類結果包括：有效告警和無效告警。

4.如權利要求1所述的方法，其特征在于，所述方法還包括：

獲取第一樣本數據；

根據所述第一樣本數據，對BERT模型學習，訓練得到所述BERT語言模型。

5.如權利要求1所述的方法，其特征在于，所述方法還包括：

獲取第二樣本數據；

根據所述第二樣本數據，對神經網絡模型學習，訓練得到所述機器分類模型。

6.如權利要求1所述的方法，其特征在于，采用多模態特征融合方法，將所述BERT語言模型輸出的向量表示結果，與所述待處理文本數據中除上下文信息之外的其他結構化特征進行特征融合，得到融合后的特征向量。

7.如權利要求6所述的方法，其特征在于，所述多模態特征融合方法包括如下任意之一：基于原始數據的融合、基于抽象特征的融合和基于決策結果的融合。

8.如權利要求6所述的方法，其特征在于，所述多模態特征融合方法包括如下任意之一：數據級別的融合、判定級別的融合和組合融合。

9.一種基于BERT的文本數據處理裝置，其特征在于，包括：

文本數據獲取模塊，用于獲取待處理文本數據；

BERT語言模型預測模塊，用于將所述待處理文本數據的原始詞向量，輸入到預先訓練好的BERT語言模型中，輸出所述待處理文本數據中各個字或詞融合上下文信息的向量表示結果；

特征融合模塊，用于將所述BERT語言模型輸出的向量表示結果，與所述待處理文本數據中除上下文信息之外的其他結構化特征進行特征融合，得到融合后的特征向量；

機器分類模塊，用于將融合后的特征向量，輸入到預先訓練好的機器分類模型中，輸出所述待處理文本數據的分類結果。

10.如權利要求9所述的裝置，其特征在于，所述機器分類模型為二分類模型。

11.如權利要求10所述的裝置，其特征在于，所述待處理文本數據為審核業務系統中的告警報文數據；所述二分類模型的分類結果包括：有效告警和無效告警。

12.如權利要求9所述的裝置，其特征在于，所述裝置還包括：

第一樣本獲取模塊，用于獲取第一樣本數據；

BERT語言模型訓練模塊，用于根據所述第一樣本數據，對BERT模型學習，訓練得到所述BERT語言模型。

13.如權利要求9所述的裝置，其特征在于，所述裝置還包括：

第二樣本數據獲取模塊，用于獲取第二樣本數據；

機器分類模型學習模塊，用于根據所述第二樣本數據，對神經網絡模型學習，訓練得到所述機器分類模型。

14.如權利要求9所述的裝置，其特征在于，采用多模態特征融合裝置，將所述BERT語言模型輸出的向量表示結果，與所述待處理文本數據中除上下文信息之外的其他結構化特征進行特征融合，得到融合后的特征向量。