[發(fā)明專利]同義文本獲取方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010587746.2
• 申請(qǐng)日: 2020-06-24
• 公開（公告）號(hào): CN111881255B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設(shè)計(jì)）人: 連義江;易鵬
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/36;G06F40/247;G06F40/30;G06F18/214
• 代理公司: 北京鴻德海業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11412
• 代理人: 谷春靜

本申請(qǐng)公開了同義文本獲取方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，涉及智能搜索及深度學(xué)習(xí)領(lǐng)域，其中的方法可包括：獲取訓(xùn)練數(shù)據(jù)，任一訓(xùn)練數(shù)據(jù)中分別包括：兩個(gè)同義的文本；利用訓(xùn)練數(shù)據(jù)訓(xùn)練圖模型，得到圖模型中的各節(jié)點(diǎn)的向量表達(dá)，其中，圖模型中的各節(jié)點(diǎn)分別對(duì)應(yīng)于訓(xùn)練數(shù)據(jù)中的一個(gè)不同的文本，若任意兩個(gè)節(jié)點(diǎn)出現(xiàn)在同一訓(xùn)練數(shù)據(jù)中，則將兩個(gè)節(jié)點(diǎn)通過邊相連；針對(duì)圖模型中的任一節(jié)點(diǎn)對(duì)應(yīng)的待處理的文本，根據(jù)圖模型中的各節(jié)點(diǎn)的向量表達(dá)，確定出待處理的文本的K個(gè)近鄰文本，作為待處理的文本的同義文本，K為正整數(shù)。應(yīng)用本申請(qǐng)所述方案，可提升同義文本的召回能力等。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)應(yīng)用技術(shù)，特別涉及智能搜索及深度學(xué)習(xí)領(lǐng)域的同義文本獲取方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

智能搜索技術(shù)中，搜索引擎通常會(huì)為商家(廣告主)提供三種關(guān)鍵詞匹配服務(wù)來滿足不同的推廣需求：精確匹配、短語匹配和寬泛匹配。其中，精確匹配是指查詢(query)和關(guān)鍵詞(keyword)或者其同義變體字面內(nèi)容一致，短語匹配是指關(guān)鍵詞或同義變體作為短語包含在query中，寬泛匹配是指query和keyword語義相關(guān)，即存在語義相關(guān)性。

其中精確匹配由于其精準(zhǔn)的流量觸達(dá)能力，至今仍是搜索引擎中非常重要的一種匹配模式。目前，通常采用查詢預(yù)先構(gòu)建的同義詞表的方式，來確定出同義變體等，同義詞表中可記錄有各query與對(duì)應(yīng)的同義keyword(如可為同義keyword list)之間的對(duì)應(yīng)關(guān)系。但這種方式完全受限于同義詞表的覆蓋程度，很難準(zhǔn)確全面的獲取到所需的內(nèi)容。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝送x文本獲取方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

一種同義文本獲取方法，包括：

獲取訓(xùn)練數(shù)據(jù)，任一訓(xùn)練數(shù)據(jù)中分別包括：兩個(gè)同義的文本；利用所述訓(xùn)練數(shù)據(jù)訓(xùn)練圖模型，得到所述圖模型中的各節(jié)點(diǎn)的向量表達(dá)，其中，所述圖模型中的各節(jié)點(diǎn)分別對(duì)應(yīng)于所述訓(xùn)練數(shù)據(jù)中的一個(gè)不同的文本，若任意兩個(gè)節(jié)點(diǎn)出現(xiàn)在同一訓(xùn)練數(shù)據(jù)中，則將所述兩個(gè)節(jié)點(diǎn)通過邊相連；

針對(duì)所述圖模型中的任一節(jié)點(diǎn)對(duì)應(yīng)的待處理的文本，根據(jù)所述圖模型中的各節(jié)點(diǎn)的向量表達(dá)，確定出所述待處理的文本的K個(gè)近鄰文本，作為所述待處理的文本的同義文本，K為正整數(shù)。

一種同義文本獲取裝置，包括：預(yù)處理模塊和文本獲取模塊；

所述預(yù)處理模塊，用于獲取訓(xùn)練數(shù)據(jù)，任一訓(xùn)練數(shù)據(jù)中分別包括：兩個(gè)同義的文本，利用所述訓(xùn)練數(shù)據(jù)訓(xùn)練圖模型，得到所述圖模型中的各節(jié)點(diǎn)的向量表達(dá)，其中，所述圖模型中的各節(jié)點(diǎn)分別對(duì)應(yīng)于所述訓(xùn)練數(shù)據(jù)中的一個(gè)不同的文本，若任意兩個(gè)節(jié)點(diǎn)出現(xiàn)在同一訓(xùn)練數(shù)據(jù)中，則將所述兩個(gè)節(jié)點(diǎn)通過邊相連；

所述文本獲取模塊，用于針對(duì)所述圖模型中的任一節(jié)點(diǎn)對(duì)應(yīng)的待處理的文本，根據(jù)所述圖模型中的各節(jié)點(diǎn)的向量表達(dá)，確定出所述待處理的文本的K個(gè)近鄰文本，作為所述待處理的文本的同義文本，K為正整數(shù)。

一種電子設(shè)備，包括：

至少一個(gè)處理器；以及

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如以上所述的方法。

一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行如以上所述的方法。

上述申請(qǐng)中的一個(gè)實(shí)施例具有如下優(yōu)點(diǎn)或有益效果：可借助于圖模型中的各節(jié)點(diǎn)的向量表達(dá)，確定出待處理的文本的同義文本，從而擺脫了現(xiàn)有方式中的同義詞表的限制，提升了同義文本的召回能力，能夠準(zhǔn)確全面的獲取到所需的同義文本。