[發(fā)明專利]一種搜索召回方法和裝置、服務(wù)器、存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710697601.6
• 申請(qǐng)日: 2017-08-15
• 公開(kāi)（公告）號(hào): CN107491518B
• 公開(kāi)（公告）日: 2020-08-04
• 發(fā)明（設(shè)計(jì)）人: 李辰;姜迪;王昕煜;魏軼彬;王璞;何徑舟
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F16/31
• 分類號(hào): G06F16/31;G06F16/332;G06F16/36;G06N3/04
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種搜索召回方法，其特征在于，包括：

獲取用戶輸入的檢索詞；

利用預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型計(jì)算所述檢索詞的語(yǔ)義向量；

根據(jù)預(yù)先建立的索引，從候選文檔中召回與所述檢索詞的語(yǔ)義向量相關(guān)的目標(biāo)文檔，其中，所述索引是根據(jù)所述候選文檔的語(yǔ)義向量建立，所述候選文檔的語(yǔ)義向量是根據(jù)所述預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型計(jì)算得到；

其中，所述神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程包括：

從搜索引擎累計(jì)的用戶日志中，抽取根據(jù)各檢索詞展現(xiàn)給用戶的條目，將所述條目中用戶點(diǎn)擊的條目作為訓(xùn)練正樣本，將用戶無(wú)點(diǎn)擊的條目作為訓(xùn)練負(fù)樣本；

從所述用戶日志中，隨機(jī)抽取出預(yù)設(shè)數(shù)量的條目作為隨機(jī)負(fù)樣本，并且該隨機(jī)抽取的條目在所有檢索詞下均無(wú)點(diǎn)擊；

獲取各檢索詞的分詞信息；

根據(jù)所述分詞信息，從預(yù)先建立的倒排索引中獲取各檢索詞的相關(guān)檢索詞，其中，所述倒排索引是指根據(jù)所述用戶日志中各檢索詞及其分詞信息，預(yù)先建立的分詞信息與候選檢索詞的倒排索引；

從所述用戶日志中，獲取與所述相關(guān)檢索詞對(duì)應(yīng)的召回條目中用戶無(wú)點(diǎn)擊的條目作為相似負(fù)樣本；

根據(jù)所述訓(xùn)練正樣本、訓(xùn)練負(fù)樣本、隨機(jī)負(fù)樣本和相似負(fù)樣本訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的搜索召回方法，其特征在于，所述根據(jù)各檢索詞的相關(guān)檢索詞從所述用戶日志中獲取相似負(fù)樣本，還包括：

將所述相似負(fù)樣本與對(duì)應(yīng)的各檢索詞的訓(xùn)練正樣本進(jìn)行去重。

3.根據(jù)權(quán)利要求1所述的搜索召回方法，其特征在于，所述根據(jù)預(yù)先建立的索引從候選文檔中召回與所述檢索詞的語(yǔ)義向量相關(guān)的目標(biāo)文檔，包括：

計(jì)算所述檢索詞的語(yǔ)義向量與所述索引中候選文檔的語(yǔ)義向量的相似度；

根據(jù)所述索引，召回所述相似度滿足預(yù)設(shè)條件的語(yǔ)義向量對(duì)應(yīng)的候選文檔作為所述目標(biāo)文檔。

4.一種搜索召回裝置，其特征在于，包括：

檢索詞獲取模塊，用于獲取用戶輸入的檢索詞；

語(yǔ)義向量計(jì)算模塊，用于利用預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型計(jì)算所述檢索詞的語(yǔ)義向量；

文檔召回模塊，用于根據(jù)預(yù)先建立的索引，從候選文檔中召回與所述檢索詞的語(yǔ)義向量相關(guān)的目標(biāo)文檔，其中，所述索引是根據(jù)候選文檔的語(yǔ)義向量建立，該候選文檔的語(yǔ)義向量是根據(jù)所述預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型計(jì)算得到；

模型訓(xùn)練模塊，用于訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)模型；

所述模型訓(xùn)練模塊包括：

第一樣本抽取單元，用于從搜索引擎累計(jì)的用戶日志中，抽取根據(jù)各檢索詞展現(xiàn)給用戶的條目，將所述條目中用戶點(diǎn)擊的條目作為訓(xùn)練正樣本，將用戶無(wú)點(diǎn)擊的條目作為訓(xùn)練負(fù)樣本；

第二樣本抽取單元，用于從所述用戶日志中，隨機(jī)抽取出預(yù)設(shè)數(shù)量的條目作為隨機(jī)負(fù)樣本，并且該隨機(jī)抽取的條目在所有檢索詞下均無(wú)點(diǎn)擊；

第三樣本抽取單元，用于根據(jù)各檢索詞的相關(guān)檢索詞，從所述用戶日志中獲取相似負(fù)樣本；

模型訓(xùn)練單元，用于根據(jù)所述訓(xùn)練正樣本、訓(xùn)練負(fù)樣本、隨機(jī)負(fù)樣本和相似負(fù)樣本訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)模型；

其中，所述第三樣本抽取單元包括：

分詞子單元，用于獲取各檢索詞的分詞信息；

相關(guān)檢索詞獲取子單元，用于根據(jù)所述分詞信息，從預(yù)先建立的倒排索引中獲取各檢索詞的相關(guān)檢索詞，其中，所述倒排索引是指根據(jù)所述用戶日志中各檢索詞及其分詞信息，預(yù)先建立的分詞信息與候選檢索詞的倒排索引；

相似負(fù)樣本獲取子單元，用于從所述用戶日志中獲取與所述相關(guān)檢索詞對(duì)應(yīng)的召回條目中用戶無(wú)點(diǎn)擊的條目作為所述相似負(fù)樣本。

5.根據(jù)權(quán)利要求4所述的搜索召回裝置，其特征在于，所述第三樣本抽取單元還包括：

去重子單元，用于將所述相似負(fù)樣本與對(duì)應(yīng)的各檢索詞的訓(xùn)練正樣本進(jìn)行去重。

6.根據(jù)權(quán)利要求4所述的搜索召回裝置，其特征在于，所述文檔召回模塊包括：

計(jì)算單元，用于計(jì)算所述檢索詞的語(yǔ)義向量與所述索引中候選文檔的語(yǔ)義向量的相似度；

召回單元，用于根據(jù)所述索引，召回所述相似度滿足預(yù)設(shè)條件的語(yǔ)義向量對(duì)應(yīng)的候選文檔作為所述目標(biāo)文檔。