[發(fā)明專利]文本處理的方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210191468.8
• 申請日: 2022-02-28
• 公開（公告）號: CN114547308A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 唐亞騰;施雯潔
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京勵誠知識產(chǎn)權(quán)代理有限公司 11647
• 代理人: 熊金鳳

1.一種文本處理的方法，其特征在于，包括：

獲取待預(yù)測的文本數(shù)據(jù)；

對所述文本數(shù)據(jù)進(jìn)行特征提取，得到所述文本數(shù)據(jù)的特征向量；

將所述特征向量輸入神經(jīng)網(wǎng)絡(luò)模型，得到所述文本數(shù)據(jù)的標(biāo)簽，以便對所述文本數(shù)據(jù)進(jìn)行分類，其中，所述神經(jīng)網(wǎng)絡(luò)模型是根據(jù)至少一種分類任務(wù)的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練得到的；

其中，所述神經(jīng)網(wǎng)絡(luò)模型包括圖神經(jīng)網(wǎng)絡(luò)和分類層，所述圖神經(jīng)網(wǎng)絡(luò)是根據(jù)用戶對文本數(shù)據(jù)的行為構(gòu)建的圖網(wǎng)絡(luò)得到的。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述特征向量輸入神經(jīng)網(wǎng)絡(luò)模型，以得到所述文本數(shù)據(jù)的標(biāo)簽之前，還包括：

根據(jù)用戶對文本數(shù)據(jù)的行為，構(gòu)建圖網(wǎng)絡(luò)，其中，所述圖網(wǎng)絡(luò)的節(jié)點包括用戶和文本數(shù)據(jù)，所述圖網(wǎng)絡(luò)的節(jié)點的連接方式包括用戶對文本數(shù)據(jù)的行為；

根據(jù)所述圖網(wǎng)絡(luò)，得到所述圖神經(jīng)網(wǎng)絡(luò)；

獲取所述至少一種分類任務(wù)的訓(xùn)練數(shù)據(jù)；

根據(jù)所述至少一種分類任務(wù)的訓(xùn)練數(shù)據(jù)，對所述圖神經(jīng)網(wǎng)絡(luò)和所述分類層進(jìn)行訓(xùn)練，以便得到已訓(xùn)練的所述神經(jīng)網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述至少一種分類任務(wù)的訓(xùn)練數(shù)據(jù)，對所述圖神經(jīng)網(wǎng)絡(luò)和所述分類層進(jìn)行訓(xùn)練，以便得到已訓(xùn)練的所述神經(jīng)網(wǎng)絡(luò)模型，包括：

根據(jù)第一分類任務(wù)的訓(xùn)練數(shù)據(jù)，對所述圖神經(jīng)網(wǎng)絡(luò)和所述分類層進(jìn)行訓(xùn)練，得到所述圖神經(jīng)網(wǎng)絡(luò)的第一參數(shù)和所述第一分類任務(wù)對應(yīng)的分類層的第二參數(shù)，其中，所述至少一種分類任務(wù)包括所述第一分類任務(wù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，還包括：

根據(jù)對所述圖神經(jīng)網(wǎng)絡(luò)的參數(shù)的約束，確定損失函數(shù)；

根據(jù)第二分類任務(wù)的訓(xùn)練數(shù)據(jù)和所述損失函數(shù)，對所述圖神經(jīng)網(wǎng)絡(luò)和所述分類層進(jìn)行訓(xùn)練，得到所述圖神經(jīng)網(wǎng)絡(luò)的第三參數(shù)和所述第二分類任務(wù)對應(yīng)的分類層的第四參數(shù)，其中，所述至少一種分類任務(wù)還包括所述第二分類任務(wù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述約束包括稀疏性約束。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述約束包括正交性約束，其中，所述正交性約束是根據(jù)所述圖神經(jīng)網(wǎng)絡(luò)的參數(shù)和經(jīng)過所述第二分類任務(wù)的之前的至少一個分類任務(wù)后得到的圖神經(jīng)網(wǎng)絡(luò)的參數(shù)確定的。

7.根據(jù)權(quán)利要求1-6任一項所述的方法，其特征在于，所述分類層的數(shù)量為至少一個，每個所述分類層對應(yīng)一個分類任務(wù)。

8.根據(jù)權(quán)利要求1-7任一項所述的方法，其特征在于，所述訓(xùn)練數(shù)據(jù)包括文本數(shù)據(jù)和標(biāo)簽組成的對。

9.根據(jù)權(quán)利要求1-8任一項所述的方法，其特征在于，所述用戶對文本數(shù)據(jù)的行為包括閱讀、分享和評論中的至少一種。

10.一種訓(xùn)練模型的方法，其特征在于，包括：

根據(jù)用戶對文本數(shù)據(jù)的行為，構(gòu)建圖網(wǎng)絡(luò)，其中，所述圖網(wǎng)絡(luò)的節(jié)點包括用戶和文本數(shù)據(jù)，所述圖網(wǎng)絡(luò)的節(jié)點的連接方式包括用戶對文本數(shù)據(jù)的行為；

根據(jù)所述圖網(wǎng)絡(luò)，得到圖神經(jīng)網(wǎng)絡(luò)；

獲取至少一種分類任務(wù)的訓(xùn)練數(shù)據(jù)；

根據(jù)所述至少一種分類任務(wù)的訓(xùn)練數(shù)據(jù)，對所述圖神經(jīng)網(wǎng)絡(luò)和分類層進(jìn)行訓(xùn)練，以便得到已訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，其中，所述神經(jīng)網(wǎng)絡(luò)模型包括所述圖神經(jīng)網(wǎng)絡(luò)和所述分類層。

11.一種文本處理的裝置，其特征在于，包括：

獲取單元，用于獲取待預(yù)測的文本數(shù)據(jù)；

特征提取單元，用于對所述文本數(shù)據(jù)進(jìn)行特征提取，得到所述文本數(shù)據(jù)的特征向量；

神經(jīng)網(wǎng)絡(luò)模型，用于根據(jù)輸入的所述特征向量，得到所述文本數(shù)據(jù)的標(biāo)簽，以便對所述文本數(shù)據(jù)進(jìn)行分類，其中，所述神經(jīng)網(wǎng)絡(luò)模型是根據(jù)至少一種分類任務(wù)的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練得到的；

其中，所述神經(jīng)網(wǎng)絡(luò)模型包括圖神經(jīng)網(wǎng)絡(luò)和分類層，所述圖神經(jīng)網(wǎng)絡(luò)是根據(jù)用戶對文本數(shù)據(jù)的行為構(gòu)建的圖網(wǎng)絡(luò)得到的。