[發(fā)明專利]文本向量生成方法及裝置

有效

• 申請?zhí)枺?/td>: 201910261663.1
• 申請日: 2019-04-02
• 公開（公告）號: CN111783444B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計）人: 黃強;卜建輝;謝煒堅;吳偉佳
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 宋合成

本發(fā)明提出一種文本向量生成方法及裝置，其中方法包括：獲取待處理的文本以及文本對應(yīng)的詞向量矩陣，詞向量矩陣中包括：文本中各個詞語對應(yīng)的向量；將詞向量矩陣輸入預(yù)設(shè)的注意力機制，獲取計算隱層狀態(tài)所需要的門組件矩陣；針對每個隱層狀態(tài)，根據(jù)當(dāng)次詞語對應(yīng)的向量、門組件矩陣中計算隱層狀態(tài)所需要的當(dāng)次門組件的數(shù)值、以及前次詞語對應(yīng)的隱層狀態(tài)數(shù)值，確定隱層狀態(tài)的數(shù)值；根據(jù)各個隱層狀態(tài)的數(shù)值，生成文本對應(yīng)的文本向量，從而能夠結(jié)合注意力機制并行生成計算各個隱層狀態(tài)所需要的門組件矩陣，進而縮短隱層狀態(tài)數(shù)值的計算時間長度，提高循環(huán)神經(jīng)網(wǎng)絡(luò)模型的并行計算效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種文本向量生成方法及裝置。

背景技術(shù)

目前的循環(huán)神經(jīng)網(wǎng)絡(luò)模型中，計算每一個隱層狀態(tài)所需要的門組件，例如遺忘門、記憶門、輸出門、臨時隱層狀態(tài)等，都要依賴于前一個隱層狀態(tài)，而結(jié)合前一個隱層狀態(tài)計算遺忘門、記憶門、輸出門、臨時隱層狀態(tài)等需要一定的時間，從而導(dǎo)致循環(huán)神經(jīng)網(wǎng)絡(luò)模型的計算時間長，并行計算效率低下。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本發(fā)明的第一個目的在于提出一種文本向量生成方法，用于解決現(xiàn)有技術(shù)中循環(huán)神經(jīng)網(wǎng)絡(luò)模型計算時間長，并行計算效率低下的問題。

本發(fā)明的第二個目的在于提出一種文本向量生成裝置。

本發(fā)明的第三個目的在于提出另一種文本向量生成裝置。

本發(fā)明的第四個目的在于提出一種非臨時性計算機可讀存儲介質(zhì)。

本發(fā)明的第五個目的在于提出一種計算機程序產(chǎn)品。

為達上述目的，本發(fā)明第一方面實施例提出了一種文本向量生成方法，包括：

獲取待處理的文本以及所述文本對應(yīng)的詞向量矩陣，所述詞向量矩陣中包括：所述文本中各個詞語對應(yīng)的向量；

將所述詞向量矩陣輸入預(yù)設(shè)的注意力機制，獲取計算隱層狀態(tài)所需要的門組件矩陣；

針對每個隱層狀態(tài)，獲取當(dāng)次詞語對應(yīng)的向量，以及所述門組件矩陣中計算所述隱層狀態(tài)所需要的當(dāng)次門組件的數(shù)值；

根據(jù)當(dāng)次詞語對應(yīng)的向量、所述門組件矩陣中計算所述隱層狀態(tài)所需要的當(dāng)次門組件的數(shù)值，以及前次詞語對應(yīng)的隱層狀態(tài)數(shù)值，確定所述隱層狀態(tài)的數(shù)值；

根據(jù)各個隱層狀態(tài)的數(shù)值，生成所述文本對應(yīng)的文本向量。

進一步的，所述門組件矩陣包括：遺忘門組件矩陣和臨時隱層狀態(tài)組件矩陣；

所述將所述詞向量矩陣輸入預(yù)設(shè)的注意力機制，獲取計算隱層狀態(tài)所需要的門組件矩陣，包括：

將所述詞向量矩陣輸入預(yù)設(shè)的注意力機制，獲取調(diào)整后矩陣；所述調(diào)整后矩陣中每個詞語對應(yīng)的調(diào)整后向量根據(jù)各個詞語對應(yīng)的向量確定；

根據(jù)所述調(diào)整后矩陣、所述詞向量矩陣以及預(yù)設(shè)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型中的遺忘門權(quán)重矩陣，確定所述遺忘門組件矩陣；

根據(jù)所述調(diào)整后矩陣、所述詞向量矩陣以及預(yù)設(shè)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型中的臨時隱層狀態(tài)權(quán)重矩陣，確定所述臨時隱層狀態(tài)組件矩陣。

進一步的，所述根據(jù)各個隱層狀態(tài)的數(shù)值，生成所述文本對應(yīng)的文本向量，包括：

根據(jù)所述詞向量矩陣、所述調(diào)整后矩陣以及預(yù)設(shè)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型中的輸入遺忘權(quán)重矩陣，確定輸入遺忘矩陣；

根據(jù)所述輸入遺忘矩陣、所述詞向量矩陣以及各個隱層狀態(tài)的數(shù)值，生成所述文本對應(yīng)的文本向量。

進一步的，所述注意力機制為多頭注意力機制。