[發(fā)明專利]神經(jīng)網(wǎng)絡模型訓練方法和裝置、自然語言處理方法和裝置

有效

• 申請?zhí)枺?/td>: 201910245096.0
• 申請日: 2019-03-28
• 公開（公告）號: CN109978141B
• 公開（公告）日: 2022-11-25
• 發(fā)明（設計）人: 劉樂茂;李冠林
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 張曉明

1.一種用于自然語言處理的神經(jīng)網(wǎng)絡模型的訓練方法，所述神經(jīng)網(wǎng)絡模型至少包括編碼單元和解碼單元，所述編碼單元用于將輸入符號序列編碼映射為編碼的符號序列，所述解碼單元基于所述編碼的符號序列，解碼并生成輸出符號序列，所述解碼單元包括級聯(lián)的多個解碼子單元層，所述訓練方法包括：

利用標注有輸入和輸出序列對的訓練數(shù)據(jù)，基于第一損失函數(shù)，訓練隨機初始化的神經(jīng)網(wǎng)絡模型，獲得第一神經(jīng)網(wǎng)絡模型；

對所述訓練數(shù)據(jù)中的目標語言數(shù)據(jù)執(zhí)行層次聚類，獲得目標語言的層次聚類樹；

基于所述層次聚類樹構(gòu)造與層級相關(guān)的預測任務；

選擇所述與層級相關(guān)的預測任務為所述多個解碼子單元層構(gòu)造第二損失函數(shù)；以及

利用所述訓練數(shù)據(jù)，基于第二損失函數(shù)訓練所述第一神經(jīng)網(wǎng)絡模型，獲得第二神經(jīng)網(wǎng)絡模型，

其中，所述第二損失函數(shù)與所述級聯(lián)的多個解碼子單元層的層級相關(guān)，所述第二損失函數(shù)包括逐層正則損失函數(shù)和層間正則損失函數(shù)。

2.如權(quán)利要求1所述的訓練方法，其中，所述逐層正則損失函數(shù)用于使得訓練后的所述多個解碼子單元層中的每一層具有相應的特征表示能力，并且越接近所述解碼單元輸出端，所述解碼子單元層具有越強的所述特征表示能力；

所述層間正則損失函數(shù)用于使得訓練后的所述多個解碼子單元層的相應的特征表示能力具有一致性。

3.如權(quán)利要求2所述的訓練方法，其中，所述第一損失函數(shù)是最大似然估計損失函數(shù)，并且訓練所述第一神經(jīng)網(wǎng)絡模型還包括：

基于所述最大似然估計損失函數(shù)、所述逐層正則損失函數(shù)和所述層間正則損失函數(shù)，訓練所述第一神經(jīng)網(wǎng)絡模型，獲得第二神經(jīng)網(wǎng)絡模型。

4.一種自然語言處理方法，包括：

執(zhí)行訓練，獲取用于自然語言處理的神經(jīng)網(wǎng)絡模型，所述神經(jīng)網(wǎng)絡模型至少包括編碼單元和解碼單元，所述解碼單元包括級聯(lián)的多個解碼子單元層；

接收輸入符號序列，通過所述編碼單元將其編碼映射為編碼的符號序列；

基于所述編碼的符號序列，通過所述解碼單元解碼生成輸出符號序列，

其中，所述執(zhí)行訓練，獲取用于自然語言處理的神經(jīng)網(wǎng)絡模型包括：

利用標注有輸入和輸出序列對的訓練數(shù)據(jù)，基于第一損失函數(shù)，訓練隨機初始化的神經(jīng)網(wǎng)絡模型，獲得第一神經(jīng)網(wǎng)絡模型；

對所述訓練數(shù)據(jù)中的目標語言數(shù)據(jù)執(zhí)行層次聚類，獲得目標語言的層次聚類樹；

基于所述層次聚類樹構(gòu)造與層級相關(guān)的預測任務；

選擇所述與層級相關(guān)的預測任務為所述多個解碼子單元層構(gòu)造第二損失函數(shù)；

利用所述訓練數(shù)據(jù)，基于第二損失函數(shù)，訓練所述第一神經(jīng)網(wǎng)絡模型，獲得第二神經(jīng)網(wǎng)絡模型，

其中，所述第二損失函數(shù)與所述級聯(lián)的多個解碼子單元層的層級相關(guān)，所述第二損失函數(shù)包括逐層正則損失函數(shù)和層間正則損失函數(shù)。

5.一種用于自然語言處理的神經(jīng)網(wǎng)絡模型的訓練裝置，所述神經(jīng)網(wǎng)絡模型至少包括編碼單元和解碼單元，所述編碼單元用于將輸入符號序列編碼映射為編碼的符號序列，所述解碼單元基于所述編碼的符號序列，解碼生成輸出符號序列，所述解碼單元包括級聯(lián)的多個解碼子單元層，所述訓練裝置包括：

第一訓練單元，用于利用標注有輸入和輸出序列對的訓練數(shù)據(jù)，基于第一損失函數(shù)，訓練隨機初始化的神經(jīng)網(wǎng)絡模型，獲得第一神經(jīng)網(wǎng)絡模型；

第二訓練單元，用于利用所述訓練數(shù)據(jù)，基于第二損失函數(shù)，訓練所述第一神經(jīng)網(wǎng)絡模型，獲得第二神經(jīng)網(wǎng)絡模型，

損失函數(shù)構(gòu)造單元，用于對所述訓練數(shù)據(jù)中的目標語言數(shù)據(jù)執(zhí)行層次聚類，獲得目標語言的層次聚類樹；基于所述層次聚類樹構(gòu)造與層級相關(guān)的預測任務；并且選擇所述與層級相關(guān)的預測任務為所述多個解碼子單元層構(gòu)造所述第二損失函數(shù)，

其中，所述第二損失函數(shù)與所述級聯(lián)的多個解碼子單元層的層級相關(guān)，所述第二損失函數(shù)包括逐層正則損失函數(shù)和層間正則損失函數(shù)。