[發(fā)明專利]使用經(jīng)過(guò)訓(xùn)練的生成模型生成查詢變體

有效

• 申請(qǐng)?zhí)枺?/td>: 201880028212.7
• 申請(qǐng)日: 2018-04-27
• 公開（公告）號(hào): CN110574021B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計(jì)）人: 于爾基·阿拉奎亞拉;克里斯蒂安·巴克;揚(yáng)尼斯·布利安;馬西米利亞諾·恰拉米塔;沃伊切赫·加耶夫斯基;安德烈亞·杰斯蒙多;尼爾·霍爾斯比;王瑋
• 申請(qǐng)（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;鄧聰惠

與為提交查詢生成查詢變體有關(guān)的系統(tǒng)、方法和計(jì)算機(jī)可讀介質(zhì)。在許多實(shí)現(xiàn)中，查詢變體是利用生成模型生成的。生成模型是有效的，因?yàn)樗梢曰诓樵兊牧钆茟?yīng)用于生成模型并可選地基于將附加輸入特征應(yīng)用于生成模型來(lái)主動(dòng)生成查詢的變體。

背景技術(shù)

在搜索系統(tǒng)的查詢處理組件中已經(jīng)利用了基于規(guī)則的搜索查詢的重寫。例如，一些基于規(guī)則的重寫可以通過(guò)從查詢中移除某些停止詞(例如“該”、“一個(gè)”等)來(lái)生成查詢的重寫。然后可以將重寫的查詢提交給搜索系統(tǒng)，并且響應(yīng)于重寫查詢的搜索結(jié)果返回。

此外，在搜索系統(tǒng)中已經(jīng)利用了類似查詢的集合，以例如推薦與所提交的查詢有關(guān)的附加查詢(例如，“人們也在搜索X”)。與給定查詢類似的查詢通常由導(dǎo)航群集確定。例如，對(duì)于查詢“有趣的貓圖片”，可以基于用戶在提交“有趣的貓圖片”之后正頻繁提交的類似查詢來(lái)確定“帶有字幕的有趣的貓圖片”的類似查詢。因此，給定查詢的類似查詢通常是預(yù)定義的。

發(fā)明內(nèi)容

本說(shuō)明書的實(shí)現(xiàn)涉及與生成用于所提交查詢的查詢變體有關(guān)的系統(tǒng)、方法和計(jì)算機(jī)可讀介質(zhì)。在許多實(shí)現(xiàn)中，查詢變體是在運(yùn)行時(shí)利用經(jīng)過(guò)訓(xùn)練的生成模型生成的。生成模型是有效的，因?yàn)樗梢曰诓樵兊牧钆茟?yīng)用于生成模型并可選地基于將附加輸入特征應(yīng)用于生成模型來(lái)主動(dòng)生成查詢的變體。以這種方式，即使沒(méi)有基于查詢來(lái)訓(xùn)練生成模型，也可以利用生成模型來(lái)生成任何查詢的變體。因此，生成模型可以被用于生成新穎查詢和所謂的“尾巴”查詢(即，具有低于閾值的提交頻率和/或提交量的查詢)的變體。結(jié)果，由于更豐富的查詢輸入可以導(dǎo)致更有效地標(biāo)識(shí)相關(guān)結(jié)果，因此可以更有效地處理查詢。例如，僅由于提交頻率低和/或提交數(shù)量少而不能排除查詢。效率的提高取決于能夠獲得相關(guān)結(jié)果的速度，因?yàn)樵诔跏疾樵兾瓷扇魏蜗嚓P(guān)結(jié)果的情況下，不需要用戶重新提交修改后的查詢。所公開的實(shí)現(xiàn)使得能夠自動(dòng)測(cè)試多個(gè)查詢變體。還可以經(jīng)由訓(xùn)練用于生成變體的模型來(lái)確保結(jié)果的收斂，從而不僅可以通過(guò)同時(shí)處理多個(gè)查詢，而且可以通過(guò)有針對(duì)性的查詢變體生成來(lái)提高效率。從而通過(guò)本發(fā)明的實(shí)現(xiàn)優(yōu)化了處理查詢所需的技術(shù)資源的使用，包括實(shí)現(xiàn)所公開的方法的處理器的處理能力和功耗。

在一些實(shí)現(xiàn)中，生成模型是神經(jīng)網(wǎng)絡(luò)模型，諸如具有一個(gè)或多個(gè)“存儲(chǔ)器層”的神經(jīng)網(wǎng)絡(luò)模型。存儲(chǔ)層包括一個(gè)或多個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)單元，諸如長(zhǎng)短期記憶(“LSTM”)單元和/或門控循環(huán)單元(“GRU”)。

在生成模型是具有存儲(chǔ)層的神經(jīng)網(wǎng)絡(luò)模型的一些實(shí)現(xiàn)中，生成模型是序列到序列模型。例如，序列到序列模型可以是一種模型，其中，可以將查詢的令牌作為輸入應(yīng)用到模型(例如，在逐個(gè)令牌的基礎(chǔ)上或在組合的基礎(chǔ)上)以及在網(wǎng)絡(luò)的層上生成的令牌的編碼。此外，可以在網(wǎng)絡(luò)的其他層上對(duì)生成的編碼進(jìn)行解碼，其中，所得的解碼(直接或間接)指示查詢的變體。例如，可以將所得的解碼應(yīng)用于網(wǎng)絡(luò)的一個(gè)或多個(gè)softmax層，以生成查詢的變體。在那些實(shí)現(xiàn)的一些版本中，生成模型與序列到序列神經(jīng)機(jī)器翻譯模型具有相同或相似的架構(gòu)，并利用查詢變體特定的訓(xùn)練數(shù)據(jù)被訓(xùn)練。查詢變體特定的訓(xùn)練數(shù)據(jù)可以例如基于：查詢對(duì)，每個(gè)查詢對(duì)具有對(duì)在相同文檔上的“點(diǎn)擊”(例如，以訓(xùn)練等效的查詢變體生成)；連續(xù)提交的查詢對(duì)(例如，用于訓(xùn)練用于跟進(jìn)查詢變體生成)；以及/或者原始的典范化查詢對(duì)(例如，用于訓(xùn)練以用于典范化查詢變體生成)。可以基于翻譯訓(xùn)練數(shù)據(jù)可選地對(duì)這種模型進(jìn)行預(yù)訓(xùn)練。