[發(fā)明專利]無監(jiān)督的多目標(biāo)篇章級情感分類模型訓(xùn)練方法和裝置

有效

• 申請?zhí)枺?/td>: 201911382926.0
• 申請日: 2019-12-27
• 公開（公告）號: CN111143564B
• 公開（公告）日: 2023-05-23
• 發(fā)明（設(shè)計(jì)）人: 劉昊;何伯磊;肖欣延
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G06F40/289;G06F40/216;G06F18/214;G06F18/241
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 戎鄭華

1.一種無監(jiān)督的多目標(biāo)篇章級情感分類模型訓(xùn)練方法，其特征在于，包括：

利用預(yù)設(shè)的編碼器將訓(xùn)練樣本集中每個(gè)篇章樣本進(jìn)行編碼處理，確定每個(gè)篇章樣本對應(yīng)的隱狀態(tài)向量，其中，所述訓(xùn)練樣本集中包括多個(gè)篇章樣本及每個(gè)篇章樣本對應(yīng)的標(biāo)注情感概率分布；

根據(jù)每個(gè)篇章樣本中包括的待評價(jià)目標(biāo)及各待評價(jià)目標(biāo)對應(yīng)的預(yù)設(shè)的權(quán)重矩陣，計(jì)算每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的注意力值；

利用預(yù)設(shè)的解碼器，對每個(gè)篇章樣本對應(yīng)的隱狀態(tài)向量及每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的注意力值進(jìn)行解碼處理，確定每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的情感概率分布；

根據(jù)每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的情感概率分布，確定每個(gè)篇章樣本對應(yīng)的預(yù)測情感概率分布；

根據(jù)每個(gè)篇章樣本對應(yīng)的預(yù)測情感概率分布與對應(yīng)的標(biāo)注情感概率分布的差異，對所述預(yù)設(shè)的編碼器、各待評價(jià)目標(biāo)對應(yīng)的預(yù)設(shè)的權(quán)重矩陣及預(yù)設(shè)的解碼器進(jìn)行更新；

所述計(jì)算每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的注意力值之前，還包括：

確定篇章樣本中各分詞與該篇章樣本中包含的待評價(jià)目標(biāo)對應(yīng)的各種子詞間的距離，其中，所述待評價(jià)目標(biāo)對應(yīng)的種子詞，與所述待評價(jià)目標(biāo)對應(yīng)的候選詞典中的候選詞的匹配度大于閾值；

根據(jù)每個(gè)分詞與所述待評價(jià)目標(biāo)對應(yīng)的各種子詞間的距離，對所述待評價(jià)目標(biāo)對應(yīng)的預(yù)設(shè)的權(quán)重矩陣中每個(gè)分詞對應(yīng)的權(quán)重值進(jìn)行修正。

2.如權(quán)利要求1所述的方法，其特征在于，所述計(jì)算每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的注意力值之前，還包括：

根據(jù)每個(gè)篇章樣本中每個(gè)分詞與每個(gè)待評價(jià)目標(biāo)對應(yīng)的候選詞典中各候選詞的匹配度，確定每個(gè)篇章樣本中包括的待評價(jià)目標(biāo)。

3.如權(quán)利要求1所述的方法，其特征在于，所述計(jì)算每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的注意力值之前，還包括：

對每個(gè)篇章樣本中各子句進(jìn)行語義識別，確定每個(gè)篇章樣本中包括的待評價(jià)目標(biāo)。

4.如權(quán)利要求1-3任一所述的方法，其特征在于，所述根據(jù)每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的情感概率分布，確定每個(gè)篇章樣本對應(yīng)的預(yù)測情感概率分布，包括：

根據(jù)每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)在每種情感中的分布概率均值，確定該篇章樣本在每種情感中的分布概率。

5.如權(quán)利要求1-3任一所述的方法，其特征在于，所述根據(jù)每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的情感概率分布，確定每個(gè)篇章樣本對應(yīng)的預(yù)測情感概率分布，包括：

根據(jù)每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)在每種情感中的分布概率、及每個(gè)待評價(jià)目標(biāo)的權(quán)重，確定該篇章樣本在每種情感中的分布概率。

6.一種無監(jiān)督的多目標(biāo)篇章級情感分類模型訓(xùn)練裝置，其特征在于，包括：

第一確定模塊，用于利用預(yù)設(shè)的編碼器將訓(xùn)練樣本集中每個(gè)篇章樣本進(jìn)行編碼處理，確定每個(gè)篇章樣本對應(yīng)的隱狀態(tài)向量，其中，所述訓(xùn)練樣本集中包括多個(gè)篇章樣本及每個(gè)篇章樣本對應(yīng)的標(biāo)注情感概率分布；

計(jì)算模塊，用于根據(jù)每個(gè)篇章樣本中包括的待評價(jià)目標(biāo)及各待評價(jià)目標(biāo)對應(yīng)的預(yù)設(shè)的權(quán)重矩陣，計(jì)算每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的注意力值；

第二確定模塊，用于利用預(yù)設(shè)的解碼器，對每個(gè)篇章樣本對應(yīng)的隱狀態(tài)向量及每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的注意力值進(jìn)行解碼處理，確定每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的情感概率分布；

第三確定模塊，用于根據(jù)每個(gè)篇章樣本中每個(gè)待評價(jià)目標(biāo)對應(yīng)的情感概率分布，確定每個(gè)篇章樣本對應(yīng)的預(yù)測情感概率分布；

更新模塊，用于根據(jù)每個(gè)篇章樣本對應(yīng)的預(yù)測情感概率分布與對應(yīng)的標(biāo)注情感概率分布的差異，對所述預(yù)設(shè)的編碼器、各待評價(jià)目標(biāo)對應(yīng)的預(yù)設(shè)的權(quán)重矩陣及預(yù)設(shè)的解碼器進(jìn)行更新；

第六確定模塊，用于確定篇章樣本中各分詞與所述待評價(jià)目標(biāo)對應(yīng)的各種子詞間的距離，其中，所述待評價(jià)目標(biāo)對應(yīng)的種子詞，與所述待評價(jià)目標(biāo)對應(yīng)的候選詞典中的候選詞的匹配度大于閾值；

修正模塊，用于根據(jù)每個(gè)分詞與所述待評價(jià)目標(biāo)對應(yīng)的各種子詞間的距離，對所述待評價(jià)目標(biāo)對應(yīng)的預(yù)設(shè)的權(quán)重矩陣中每個(gè)分詞對應(yīng)的權(quán)重值進(jìn)行修正。