[發(fā)明專利]語(yǔ)料數(shù)據(jù)的處理方法、裝置、計(jì)算機(jī)可讀介質(zhì)及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201811388022.4
• 申請(qǐng)日: 2018-11-21
• 公開（公告）號(hào): CN109597873B
• 公開（公告）日: 2022-02-08
• 發(fā)明（設(shè)計(jì)）人: 周輝陽(yáng);饒孟良;曹云波
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F40/295
• 代理公司: 深圳市隆天聯(lián)鼎知識(shí)產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美

本發(fā)明的實(shí)施例提供了一種語(yǔ)料數(shù)據(jù)的處理方法、裝置、計(jì)算機(jī)可讀介質(zhì)及電子設(shè)備。該語(yǔ)料數(shù)據(jù)的處理方法包括：獲取目標(biāo)領(lǐng)域中的待處理語(yǔ)料數(shù)據(jù)；根據(jù)待處理語(yǔ)料數(shù)據(jù)中所包含的實(shí)體名稱，生成待處理語(yǔ)料數(shù)據(jù)對(duì)應(yīng)的第一語(yǔ)料模板；根據(jù)第一語(yǔ)料模板和目標(biāo)領(lǐng)域中已有的第二語(yǔ)料模板，計(jì)算第一語(yǔ)料模板和第二語(yǔ)料模板之間的相似度；根據(jù)第一語(yǔ)料模板和第二語(yǔ)料模板之間的相似度，對(duì)待處理語(yǔ)料數(shù)據(jù)進(jìn)行過(guò)濾，得到處理后的語(yǔ)料數(shù)據(jù)。本發(fā)明實(shí)施例的技術(shù)方案能夠通過(guò)挖掘待處理語(yǔ)料數(shù)據(jù)對(duì)應(yīng)的語(yǔ)料模板及目標(biāo)領(lǐng)域中已有的語(yǔ)料模板來(lái)對(duì)待處理語(yǔ)料數(shù)據(jù)進(jìn)行過(guò)濾處理，進(jìn)而能夠過(guò)濾掉與目標(biāo)領(lǐng)域關(guān)聯(lián)性較差的語(yǔ)料數(shù)據(jù)，確保得到目標(biāo)領(lǐng)域中較為準(zhǔn)確的語(yǔ)料數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)及通信技術(shù)領(lǐng)域，具體而言，涉及一種語(yǔ)料數(shù)據(jù)的處理方法、裝置、計(jì)算機(jī)可讀介質(zhì)及電子設(shè)備。

背景技術(shù)

在智能問(wèn)答場(chǎng)景中，領(lǐng)域語(yǔ)料的獲得和擴(kuò)充是領(lǐng)域建設(shè)的重要問(wèn)題，高質(zhì)量和多樣性的充足語(yǔ)料能夠訓(xùn)練得到更準(zhǔn)確的深度學(xué)習(xí)模型，進(jìn)而能夠?qū)τ脩魡?wèn)題的分類更加準(zhǔn)確。反之，如果一個(gè)領(lǐng)域的相關(guān)語(yǔ)料太少，則會(huì)導(dǎo)致深度學(xué)習(xí)模型學(xué)習(xí)到的與該領(lǐng)域相關(guān)的特征較少，進(jìn)而很難與其它領(lǐng)域的語(yǔ)料進(jìn)行區(qū)分。可見，語(yǔ)料的挖掘工作對(duì)于深度學(xué)習(xí)模型的效果具有決定性的意義。然而，相關(guān)技術(shù)中提出的語(yǔ)料挖掘方案存在召回?cái)?shù)據(jù)較多，語(yǔ)料數(shù)據(jù)噪聲較大的問(wèn)題，進(jìn)而不僅會(huì)導(dǎo)致人工檢查耗時(shí)耗力，而且會(huì)影響深度學(xué)習(xí)模型的準(zhǔn)確性。

發(fā)明內(nèi)容

本發(fā)明的實(shí)施例提供了一種語(yǔ)料數(shù)據(jù)的處理方法、裝置、計(jì)算機(jī)可讀介質(zhì)及電子設(shè)備，進(jìn)而至少在一定程度上可以獲取到領(lǐng)域中較為準(zhǔn)確的語(yǔ)料數(shù)據(jù)。

本發(fā)明的其他特性和優(yōu)點(diǎn)將通過(guò)下面的詳細(xì)描述變得顯然，或部分地通過(guò)本發(fā)明的實(shí)踐而習(xí)得。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種語(yǔ)料數(shù)據(jù)的處理方法，包括：獲取目標(biāo)領(lǐng)域中的待處理語(yǔ)料數(shù)據(jù)；根據(jù)所述待處理語(yǔ)料數(shù)據(jù)中所包含的實(shí)體名稱，生成所述待處理語(yǔ)料數(shù)據(jù)對(duì)應(yīng)的第一語(yǔ)料模板；根據(jù)所述第一語(yǔ)料模板和所述目標(biāo)領(lǐng)域中已有的第二語(yǔ)料模板，計(jì)算所述第一語(yǔ)料模板和所述第二語(yǔ)料模板之間的相似度；根據(jù)所述第一語(yǔ)料模板和所述第二語(yǔ)料模板之間的相似度，對(duì)所述待處理語(yǔ)料數(shù)據(jù)進(jìn)行過(guò)濾，得到處理后的語(yǔ)料數(shù)據(jù)。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種語(yǔ)料數(shù)據(jù)的處理裝置，包括：獲取單元，用于獲取目標(biāo)領(lǐng)域中的待處理語(yǔ)料數(shù)據(jù)；生成單元，用于根據(jù)所述待處理語(yǔ)料數(shù)據(jù)中所包含的實(shí)體名稱，生成所述待處理語(yǔ)料數(shù)據(jù)對(duì)應(yīng)的第一語(yǔ)料模板；計(jì)算單元，用于根據(jù)所述第一語(yǔ)料模板和所述目標(biāo)領(lǐng)域中已有的第二語(yǔ)料模板，計(jì)算所述第一語(yǔ)料模板和所述第二語(yǔ)料模板之間的相似度；處理單元，用于根據(jù)所述第一語(yǔ)料模板和所述第二語(yǔ)料模板之間的相似度，對(duì)所述待處理語(yǔ)料數(shù)據(jù)進(jìn)行過(guò)濾，得到處理后的語(yǔ)料數(shù)據(jù)。

在本發(fā)明的一些實(shí)施例中，基于前述方案，所述生成單元配置為：檢測(cè)所述待處理語(yǔ)料數(shù)據(jù)中所包含的預(yù)設(shè)實(shí)體名稱；根據(jù)實(shí)體名稱與實(shí)體標(biāo)簽之間的對(duì)應(yīng)關(guān)系，確定與所述預(yù)設(shè)實(shí)體名稱相對(duì)應(yīng)的目標(biāo)實(shí)體標(biāo)簽；通過(guò)所述目標(biāo)實(shí)體標(biāo)簽替換所述待處理語(yǔ)料數(shù)據(jù)中所包含的所述預(yù)設(shè)實(shí)體名稱，以生成所述待處理語(yǔ)料數(shù)據(jù)對(duì)應(yīng)的第一語(yǔ)料模板。

在本發(fā)明的一些實(shí)施例中，基于前述方案，所述計(jì)算單元配置為：根據(jù)所述第一語(yǔ)料模板和所述第二語(yǔ)料模板，確定所述第一語(yǔ)料模板和所述第二語(yǔ)料模板中的其中一個(gè)語(yǔ)料模板是否是另一個(gè)語(yǔ)料模板的子集；若所述第一語(yǔ)料模板和所述第二語(yǔ)料模板中的其中一個(gè)語(yǔ)料模板是另一個(gè)語(yǔ)料模板的子集，則確定所述第一語(yǔ)料模板和所述第二語(yǔ)料模板相似。

在本發(fā)明的一些實(shí)施例中，基于前述方案，所述計(jì)算單元配置為：若所述第一語(yǔ)料模板和所述第二語(yǔ)料模板中的其中一個(gè)語(yǔ)料模板所包含的字符覆蓋另一個(gè)語(yǔ)料模板所包含的字符，則確定所述第一語(yǔ)料模板和所述第二語(yǔ)料模板中的其中一個(gè)語(yǔ)料模板是另一個(gè)語(yǔ)料模板的子集。