[發(fā)明專利]文本生成方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110616985.0
• 申請(qǐng)日: 2021-06-02
• 公開（公告）號(hào): CN113204944A
• 公開（公告）日: 2021-08-03
• 發(fā)明（設(shè)計(jì)）人: 王亦寧;劉升平;梁家恩
• 申請(qǐng)（專利權(quán)）人: 云知聲智能科技股份有限公司;廈門云知芯智能科技有限公司
• 主分類號(hào): G06F40/126
• 分類號(hào): G06F40/126;G06F40/279
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種文本生成方法，其特征在于，包括：

對(duì)源文檔進(jìn)行詞序列劃分，并將得到的詞序列進(jìn)行詞向量處理，得到所述詞序列對(duì)應(yīng)的詞矩陣；

利用編碼器對(duì)所述詞矩陣進(jìn)行編碼，得到輸入詞序列編碼表示；

利用當(dāng)前語言的解碼器，在注意力機(jī)制下，根據(jù)編碼器的隱狀態(tài)、各解碼器第n-1層中第i時(shí)刻之前的歷史隱狀態(tài)，對(duì)所述輸入詞序列編碼進(jìn)行解碼，得到與當(dāng)前語言對(duì)應(yīng)的輸出詞序列編碼表示；

將所述輸出詞序列編碼表示輸入當(dāng)前語言的編碼器的邏輯回歸層進(jìn)行線性變換，得到變換結(jié)果；

根據(jù)所述變換結(jié)果，得到與當(dāng)前語言對(duì)應(yīng)的目標(biāo)文本。

2.根據(jù)權(quán)利要求1所述的文本生成方法，其特征在于，根據(jù)編碼器的隱狀態(tài)、各解碼器第n-1層中第i時(shí)刻之前的歷史隱狀態(tài)，對(duì)所述輸入詞序列編碼進(jìn)行解碼，得到與當(dāng)前語言對(duì)應(yīng)的輸出詞序列編碼表示，包括：

將所述編碼器的隱狀態(tài)、所述各解碼器的歷史隱狀態(tài)和所述輸入詞序列編碼分別代入預(yù)設(shè)的輸出詞序列編碼計(jì)算式中計(jì)算，得到與當(dāng)前語言對(duì)應(yīng)的輸出詞序列編碼表示；

所述輸出詞序列編碼計(jì)算式如下：

為第l個(gè)解碼器的輸出詞序列編碼表示，l∈{1，2，...L}，L為不同語言的種類，Dl為第l個(gè)解碼器，為第i時(shí)刻當(dāng)前語言的解碼器的輸入詞序列編碼，為第l個(gè)解碼器第n-1層中第i時(shí)刻之前的歷史隱狀態(tài)，h^E為編碼器的隱狀態(tài)。

3.根據(jù)權(quán)利要求2所述的文本生成方法，其特征在于，第l個(gè)解碼器第n-1層中第i時(shí)刻之前的歷史隱狀態(tài)的獲取過程包括：

對(duì)輸出詞序列編碼進(jìn)行矩陣變換，得到輸出向量；

對(duì)第i時(shí)刻當(dāng)前語言的解碼器的輸入詞序列編碼進(jìn)行矩陣變換，得到鍵向量和值向量；

確定所述鍵向量在所有語言上分布的第一權(quán)重和所述值向量在所有語言上分布的第二權(quán)重；

對(duì)所述第一權(quán)重和和所述第二權(quán)重進(jìn)行累加和，得到鍵向量加權(quán)表征和值向量加權(quán)表征；

根據(jù)鍵向量加權(quán)表征、值向量加權(quán)表征和所述輸出向量，輸出第l個(gè)解碼器第n-1層中第i時(shí)刻之前的歷史隱狀態(tài)。

4.根據(jù)權(quán)利要求1所述的文本生成方法，其特征在于，將所述輸出詞序列編碼表示輸入當(dāng)前語言的編碼器的邏輯回歸層進(jìn)行線性變換，得到變換結(jié)果，包括：

將所述輸出詞序列編碼表示輸入所述解碼器的邏輯回歸層進(jìn)行線性變換，輸出i時(shí)刻所有詞表中的概率分布，作為所述變換結(jié)果。

5.根據(jù)權(quán)利要求4所述的文本生成方法，其特征在于，根據(jù)所述變換結(jié)果，得到與當(dāng)前語言對(duì)應(yīng)的目標(biāo)文本，包括：

將最大概率對(duì)應(yīng)的詞匯作為i時(shí)刻的詞匯；

基于所有時(shí)刻的詞匯，生成所述與當(dāng)前語言對(duì)應(yīng)的目標(biāo)文本。

6.一種文本生成裝置，其特征在于，包括：

預(yù)處理模塊，用于對(duì)源文檔進(jìn)行詞序列劃分，并將得到的詞序列進(jìn)行詞向量處理，得到所述詞序列對(duì)應(yīng)的詞矩陣；

編碼模塊，用于利用編碼器對(duì)所述詞矩陣進(jìn)行編碼，得到輸入詞序列編碼表示；

解碼模塊，用于利用當(dāng)前語言的解碼器，在注意力機(jī)制下，根據(jù)編碼器的隱狀態(tài)、各解碼器第n-1層中第i時(shí)刻之前的歷史隱狀態(tài)，對(duì)所述輸入詞序列編碼進(jìn)行解碼，得到與當(dāng)前語言對(duì)應(yīng)的輸出詞序列編碼表示；

變換模塊，用于將所述輸出詞序列編碼表示輸入當(dāng)前語言的編碼器的邏輯回歸層進(jìn)行線性變換，得到變換結(jié)果；

文本生成模塊，用于根據(jù)所述變換結(jié)果，得到與當(dāng)前語言對(duì)應(yīng)的目標(biāo)文本。

7.根據(jù)權(quán)利要求6所述的文本生成裝置，其特征在于，所述解碼模塊，具體用于：

將所述編碼器的隱狀態(tài)、所述各解碼器的歷史隱狀態(tài)和所述輸入詞序列編碼分別代入預(yù)設(shè)的輸出詞序列編碼計(jì)算式中計(jì)算，得到與當(dāng)前語言對(duì)應(yīng)的輸出詞序列編碼表示；

所述輸出詞序列編碼計(jì)算式如下：

為第l個(gè)解碼器的輸出詞序列編碼表示，Dl為第l個(gè)解碼器，為第i時(shí)刻當(dāng)前語言的解碼器的輸入詞序列編碼，為第l個(gè)解碼器第n-1層中第i時(shí)刻之前的歷史隱狀態(tài)，h^E為編碼器的隱狀態(tài)。