[發(fā)明專利]文本數(shù)據(jù)的標注方法和裝置、電子設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110181936.9
• 申請日: 2021-02-09
• 公開（公告）號: CN112906361A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 朱志強
• 申請（專利權(quán)）人: 上海明略人工智能（集團）有限公司
• 主分類號: G06F40/169
• 分類號: G06F40/169;G06F40/126;G06F16/36
• 代理公司: 北京華夏泰和知識產(chǎn)權(quán)代理有限公司 11662
• 代理人: 曾軍;李雪

本申請?zhí)峁┝艘环N文本數(shù)據(jù)的標注方法和裝置、電子設(shè)備和存儲介質(zhì)，其中，該方法包括：獲取待標注的目標文本；將目標文本輸入目標數(shù)據(jù)標注模型，確定目標文本的文本標注，其中，目標數(shù)據(jù)標注模型是使用文本編碼、知識編碼和訓(xùn)練文本對初始數(shù)據(jù)標注模型的參數(shù)進行調(diào)整得到的，訓(xùn)練文本攜帶有第一文本標注，文本編碼是對訓(xùn)練文本進行編碼得到的，知識編碼是對訓(xùn)練文本的知識信息進行編碼得到的。通過本申請，解決了相關(guān)技術(shù)中存在的人工數(shù)據(jù)標注效率低的問題。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種文本數(shù)據(jù)的標注方法和裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)

隨著自然語言技術(shù)的盛行，文本/短文本作為自然語言處理中最主要的數(shù)據(jù)來源，需要事先對文本/短文本進行數(shù)據(jù)標注，利用標注后的數(shù)據(jù)來保證后續(xù)數(shù)據(jù)應(yīng)用的準確性，因此，當(dāng)下對數(shù)據(jù)標注的需求愈加強烈。

在現(xiàn)有的數(shù)據(jù)標注方式中，主要是依靠人工完成的，但是面對呈現(xiàn)指數(shù)級增加的數(shù)據(jù)，傳統(tǒng)的依靠人工標注存在效率低的問題，導(dǎo)致人工標注已經(jīng)不能滿足日益高漲的數(shù)據(jù)需求。

因此，相關(guān)技術(shù)中存在人工標注效率低的問題。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N文本數(shù)據(jù)的標注方法和裝置、電子設(shè)備和存儲介質(zhì)，以至少解決相關(guān)技術(shù)中存在人工標注效率低的問題。

根據(jù)本申請實施例的一個方面，提供了一種文本數(shù)據(jù)的標注方法，該方法包括：

獲取待標注的目標文本；

將所述目標文本輸入目標數(shù)據(jù)標注模型，確定所述目標文本的文本標注，其中，所述目標數(shù)據(jù)標注模型是使用文本編碼、知識編碼和訓(xùn)練文本對初始數(shù)據(jù)標注模型的參數(shù)進行調(diào)整得到的，所述訓(xùn)練文本攜帶有第一文本標注，所述文本編碼是對訓(xùn)練文本進行編碼得到的，所述知識編碼是對訓(xùn)練文本的知識信息進行編碼得到的。

可選地，在所述獲取待標注文本數(shù)據(jù)之前，所述方法還包括：

獲取所述訓(xùn)練文本；

利用實體鏈接和實體知識庫對所述訓(xùn)練文本進行處理，得到概念實體數(shù)據(jù)；

利用目標詞處理方案和目標網(wǎng)絡(luò)模型對所述訓(xùn)練文本進行處理，得到所述文本編碼；

利用目標詞處理方案和目標網(wǎng)絡(luò)模型對所述概念實體數(shù)據(jù)進行處理，得到所述知識編碼。

可選地，所述利用實體鏈接和實體知識庫對所述訓(xùn)練文本進行處理，得到概念實體數(shù)據(jù)包括：

利用所述實體鏈接對所述訓(xùn)練文本進行實體鏈接操作，確定所述訓(xùn)練文本的實體數(shù)據(jù)集，其中，所述實體鏈接操作用于將所述訓(xùn)練文本映射到所述實體知識庫的實體上；

利用所述實體知識庫對所述實體數(shù)據(jù)集進行概念化操作，得到所述概念實體數(shù)據(jù)，其中，所述概念化操作用于獲取所述實體的屬性。

可選地，所述利用目標詞處理方案和目標網(wǎng)絡(luò)模型對所述訓(xùn)練文本進行處理，得到所述文本編碼包括：

利用所述目標詞處理方案將所述訓(xùn)練文本映射為第一數(shù)字向量，其中，所述目標詞處理方案用于將詞語數(shù)據(jù)轉(zhuǎn)換為數(shù)字向量；

將所述第一數(shù)字向量輸入第一網(wǎng)絡(luò)模型，得到語義編碼，其中，所述目標網(wǎng)絡(luò)模型包括所述第一網(wǎng)絡(luò)模型，所述第一網(wǎng)絡(luò)模型用于獲取所述語義編碼；

將所述語義編碼輸入第二網(wǎng)絡(luò)模型，得到所述文本編碼，其中，所述目標網(wǎng)絡(luò)模型包括所述第二網(wǎng)絡(luò)模型，所述第二網(wǎng)絡(luò)模型用于獲取所述文本編碼。

可選地，所述利用目標詞處理方案和目標網(wǎng)絡(luò)模型對所述概念實體數(shù)據(jù)進行處理，得到所述知識編碼包括：

利用所述目標詞處理方案將所述概念實體數(shù)據(jù)映射為第二數(shù)字向量；