[發明專利]基于BERT的自然語言處理方法及相關設備

在審

• 申請號: 202111119670.1
• 申請日: 2021-09-23
• 公開（公告）號: CN113836266A
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 成杰峰;彭奕
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強

1.一種基于BERT的自然語言處理方法，其特征在于，所述方法包括：

獲取自然語言文本的詞向量；

按照第一CUDA程序，將所述自然語言文本的詞向量加載至圖形處理器中，以使所述圖形處理器基于所述自然語言文本的詞向量，采用并行處理的方式得到查詢矩陣、鍵矩陣和值矩陣，并將所述查詢矩陣、所述鍵矩陣和所述值矩陣存放至內存中；

按照第二CUDA程序，從內存中獲取所述查詢矩陣、鍵矩陣和值矩陣，將所述查詢矩陣、鍵矩陣和值矩陣加載至所述圖形處理器中，以使所述圖形處理器基于所述查詢矩陣、鍵矩陣和值矩陣，采用并行處理的方式得到所述自然語言文本的第一注意力特征。

2.根據權利要求1所述的方法，其特征在于，所述將所述自然語言文本的詞向量加載至圖形處理器中，以使所述圖形處理器基于所述自然語言文本的詞向量，采用并行處理的方式得到查詢矩陣、鍵矩陣和值矩陣，包括：

將所述自然語言文本的詞向量加載至圖形處理器中，以使所述圖形處理器基于所述自然語言文本的詞向量構建對應的查詢向量、鍵向量和值向量；

從內存中獲取查詢權重矩陣、鍵權重矩陣和值權重矩陣；

將所述查詢權重矩陣、所述鍵權重矩陣和所述值權重矩陣加載至所述圖形處理器中，以使所述圖形處理器基于所述查詢向量和所述查詢權重矩陣、所述鍵向量和所述鍵權重矩陣、以及所述值向量和所述值權重矩陣并行計算出所述查詢矩陣、所述鍵矩陣和所述值矩陣。

3.根據權利要求1或2所述的方法，其特征在于，所述將所述查詢矩陣、鍵矩陣和值矩陣加載至所述圖形處理器中，以使所述圖形處理器基于所述查詢矩陣、鍵矩陣和值矩陣，采用并行處理的方式得到所述自然語言文本的第一注意力特征，包括：

將所述查詢矩陣、鍵矩陣和值矩陣加載至所述圖形處理器中，以使所述圖形處理器基于所述查詢矩陣、所述鍵矩陣和所述值矩陣并行計算出注意力權重；

將所述注意力權重與所述值矩陣相乘，得到所述自然語言文本的第一注意力特征。

4.根據權利要求3所述的方法，其特征在于，所述查詢矩陣、所述鍵矩陣和所述值矩陣為多頭注意力機制中每一頭注意力機制的輸入，所述第一注意力特征為所述每一頭注意力機制的輸出，所述方法還包括：

對所述第一注意力特征進行拼接，得到注意力拼接特征；

根據所述注意力拼接特征，得到所述自然語言文本的第二注意力特征。

5.根據權利要求4所述的方法，其特征在于，所述根據所述注意力拼接特征，得到所述自然語言文本的第二注意力特征，包括：

對所述注意力拼接特征進行線性映射，得到所述第二注意力特征；

或者，

對所述注意力拼接特征的拼接處進行平滑處理，得到平滑處理后的注意力拼接特征；

對所述平滑處理后的注意力拼接特征進行線性映射，得到所述第二注意力特征。

6.根據權利要求1所述的方法，其特征在于，在獲取所述自然語言文本的詞向量之前，所述方法還包括：

對所述自然語言文本進行分詞處理，得到分詞列表；

對所述分詞列表中的詞語進行熱獨編碼，得到所述自然語言文本的詞向量，將所述自然語言文本的詞向量存放至內存中。

7.一種基于BERT的自然語言處理裝置，其特征在于，所述裝置包括獲取單元和處理單元；

所述獲取單元，用于獲取自然語言文本的詞向量；

所述處理單元，用于按照第一CUDA程序，將所述自然語言文本的詞向量加載至圖形處理器中，以使所述圖形處理器基于所述自然語言文本的詞向量，采用并行處理的方式得到查詢矩陣、鍵矩陣和值矩陣，并將所述查詢矩陣、所述鍵矩陣和所述值矩陣存放至內存中；

所述處理單元，還用于按照第二CUDA程序，從內存中獲取所述查詢矩陣、鍵矩陣和值矩陣，將所述查詢矩陣、鍵矩陣和值矩陣加載至所述圖形處理器中，以使所述圖形處理器基于所述查詢矩陣、鍵矩陣和值矩陣，采用并行處理的方式得到所述自然語言文本的第一注意力特征。