[發(fā)明專利]文本向量生成方法及裝置

有效

• 申請?zhí)枺?/td>: 201910261663.1
• 申請日: 2019-04-02
• 公開（公告）號: CN111783444B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計）人: 黃強;卜建輝;謝煒堅;吳偉佳
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 宋合成

1.一種文本向量生成方法，其特征在于，包括：

獲取待處理的文本以及所述文本對應(yīng)的詞向量矩陣，所述詞向量矩陣中包括：所述文本中各個詞語對應(yīng)的向量；

將所述詞向量矩陣輸入預(yù)設(shè)的注意力機制，獲取計算隱層狀態(tài)所需要的門組件矩陣；

針對每個隱層狀態(tài)，獲取當次詞語對應(yīng)的向量，以及所述門組件矩陣中計算所述隱層狀態(tài)所需要的當次門組件的數(shù)值；

根據(jù)當次詞語對應(yīng)的向量、所述門組件矩陣中計算所述隱層狀態(tài)所需要的當次門組件的數(shù)值，以及前次詞語對應(yīng)的隱層狀態(tài)數(shù)值，確定所述隱層狀態(tài)的數(shù)值；

根據(jù)各個隱層狀態(tài)的數(shù)值，生成所述文本對應(yīng)的文本向量。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述門組件矩陣包括：遺忘門組件矩陣和臨時隱層狀態(tài)組件矩陣；

所述將所述詞向量矩陣輸入預(yù)設(shè)的注意力機制，獲取計算隱層狀態(tài)所需要的門組件矩陣，包括：

將所述詞向量矩陣輸入預(yù)設(shè)的注意力機制，獲取調(diào)整后矩陣；所述調(diào)整后矩陣中每個詞語對應(yīng)的調(diào)整后向量根據(jù)各個詞語對應(yīng)的向量確定；

根據(jù)所述調(diào)整后矩陣、所述詞向量矩陣以及預(yù)設(shè)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型中的遺忘門權(quán)重矩陣，確定所述遺忘門組件矩陣；

根據(jù)所述調(diào)整后矩陣、所述詞向量矩陣以及預(yù)設(shè)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型中的臨時隱層狀態(tài)權(quán)重矩陣，確定所述臨時隱層狀態(tài)組件矩陣。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)各個隱層狀態(tài)的數(shù)值，生成所述文本對應(yīng)的文本向量，包括：

根據(jù)所述詞向量矩陣、所述調(diào)整后矩陣以及預(yù)設(shè)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型中的輸入遺忘權(quán)重矩陣，確定輸入遺忘矩陣；

根據(jù)所述輸入遺忘矩陣、所述詞向量矩陣以及各個隱層狀態(tài)的數(shù)值，生成所述文本對應(yīng)的文本向量。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述注意力機制為多頭注意力機制。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述文本對應(yīng)的文本向量的生成公式為，

；

；

其中，r為輸入遺忘矩陣；x為詞向量矩陣；C為調(diào)整后矩陣；h為隱層狀態(tài)矩陣，其中包括各個隱層狀態(tài)的數(shù)值；o為文本對應(yīng)的文本向量；sigmoid為S型函數(shù)。

6.一種文本向量生成裝置，其特征在于，包括：

獲取模塊，用于獲取待處理的文本以及所述文本對應(yīng)的詞向量矩陣，所述詞向量矩陣中包括：所述文本中各個詞語對應(yīng)的向量；

所述獲取模塊，還用于將所述詞向量矩陣輸入預(yù)設(shè)的注意力機制，獲取計算隱層狀態(tài)所需要的門組件矩陣；

所述獲取模塊，還用于針對每個隱層狀態(tài)，獲取當次詞語對應(yīng)的向量，以及所述門組件矩陣中計算所述隱層狀態(tài)所需要的當次門組件的數(shù)值；

確定模塊，用于根據(jù)當次詞語對應(yīng)的向量、所述門組件矩陣中計算所述隱層狀態(tài)所需要的當次門組件的數(shù)值，以及前次詞語對應(yīng)的隱層狀態(tài)數(shù)值，確定所述隱層狀態(tài)的數(shù)值；

生成模塊，用于根據(jù)各個隱層狀態(tài)的數(shù)值，生成所述文本對應(yīng)的文本向量。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述門組件矩陣包括：遺忘門組件矩陣和臨時隱層狀態(tài)組件矩陣；

所述獲取模塊具體用于，

將所述詞向量矩陣輸入預(yù)設(shè)的注意力機制，獲取調(diào)整后矩陣；所述調(diào)整后矩陣中每個詞語對應(yīng)的調(diào)整后向量根據(jù)各個詞語對應(yīng)的向量確定；

根據(jù)所述調(diào)整后矩陣、所述詞向量矩陣以及預(yù)設(shè)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型中的遺忘門權(quán)重矩陣，確定所述遺忘門組件矩陣；

根據(jù)所述調(diào)整后矩陣、所述詞向量矩陣以及預(yù)設(shè)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型中的臨時隱層狀態(tài)權(quán)重矩陣，確定所述臨時隱層狀態(tài)組件矩陣。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述生成模塊具體用于，

根據(jù)所述詞向量矩陣、所述調(diào)整后矩陣以及預(yù)設(shè)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型中的輸入遺忘權(quán)重矩陣，確定輸入遺忘矩陣；

根據(jù)所述輸入遺忘矩陣、所述詞向量矩陣以及各個隱層狀態(tài)的數(shù)值，生成所述文本對應(yīng)的文本向量。