[發明專利]一種基于上下文表示學習的性化搜索方法

有效

• 申請號: 202011021934.5
• 申請日: 2020-09-25
• 公開（公告）號: CN112182373B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 竇志成;周雨佳
• 申請（專利權）人: 中國人民大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9538;G06F40/205;G06F40/30;G06F18/214
• 代理公司: 北京中創陽光知識產權代理有限責任公司 11003
• 代理人: 尹振啟

1.一種基于上下文表示學習的個性化搜索方法，其特征在于：讀取用戶輸入的查詢內容，將查詢語境的輸入劃分為查詢單詞、短期歷史和長期歷史三個層面，并依據所述三個層面，設置一個長期transformer模型和一個短期transformer模型建立查詢消歧模型，具體地，對所述查詢語境的劃分方法為：所述查詢單詞層面為本次輸入的查詢單詞；所述短期歷史和長期歷史根據這一用戶的歷史數據劃分，所述歷史數據集合H包含短期歷史集合H^s和長期歷史集合H^l，所述短期歷史集合H^s包含當前會話中的一系列查詢和候選文檔，所述候選文檔為一個查詢下搜索引擎返回的文檔集合，每一個查詢對應一個候選文檔列表，t代表當前時間戳，t-1表示剛剛結束的查詢和候選文檔集合的時間戳，所述長期歷史集合H^l包括之前會話中的交互行為，所述交互行為包括提交查詢和點擊瀏覽行為，n是所述之前會話中的查詢數量；

進而依據所述三個層面分別依次進行查詢單詞層面的消歧運算、所述短期歷史層面的消歧運算和所述長期歷史層面的消歧運算，從而使所述查詢消歧模型分析用戶真實意圖；并結合已有查詢日志預測用戶的真實意圖；之后對所述查詢消歧模型的分析結果和所述已有查詢日志預測結果進行融合和重排運算，并對結果進行優化后，得到對本次查詢結果的個性化排序結果；

所述查詢單詞層面的消歧運算過程為：對于包含m個單詞的當前查詢q，q＝{e₁，...，e_m}查詢中每個單詞上下文相關的表示為：

E^w＝Trm(q+q_p)

其中q和q_p是查詢的詞編碼向量和位置編碼向量，Trm是transformer結構，包括一個多頭自注意力機制和一個位置感知前饋網絡，在每一層之間使用殘差連接：

Trm(q)＝LN(M_q+D(PF(M_q)))

M_q＝LN(q+D(MS(q)))

其中LN是layer?normalization層使輸出標準化，D是dropout操作防止模型過擬合，多頭自注意力機制首先將輸入映射到h個不同的子空間，而后對每個頭利用注意力函數Att提取特征：

MS(q)＝[head₁，...，head_h]W^O

其中W^O是在訓練過程中學習的參數，并增加位置感知前饋網絡以非線性映射的方式強化表示：

PF(x)＝C₂(ReLU(C₁(x^T)))^T

C₁和C₂是參數不同的兩個卷積層，卷積核大小為1，最終，我們得到了當前查詢中每個詞上下文相關的表示，并將每個詞的向量相加作為查詢的表示：

所述短期歷史層面的消歧運算過程為：針對查詢詞非常短的情況，對短期歷史H^s中的每一個查詢將查詢和滿意文檔連接，而后通過所述查詢單詞層面的消歧，將輸出作為當前查詢的短期語境，表示為并將它與所述查詢的表示q^w相連作為短期transformer的輸入，得到新的查詢表示q^s：

其中Trm^last表示將最后一個位置的表示作為輸出，位置編碼向量p+同時考慮編碼序列中的相對位置和層級結構，并增加層級編碼來區分所述短期歷史和所述長期歷史的貢獻程度的差異；

所述長期歷史層面的消歧運算過程為：針對處于會話開始、缺少語境的短查詢，通過所述長期歷史反映用戶穩定的興趣，首先對長期歷史所有查詢進行詞級別消歧，輸出為然后與q^s連接后輸入到長期transformer中，最后一個位置的輸出q^l則是查詢消歧模型最后的輸入：

所述預測用戶的真實意圖方法為：在用戶歷史日志時間順序序列最后增加“[MASK]”標識符并將這個位置的輸出作為預測的意圖，模型結構與查詢消歧部分類似，分別利用短期歷史和長期歷史來預測用戶意圖，分別使用短期transformer和長期transformer結合短期歷史和長期歷史，根據現有日志信息，預測用戶意圖，計算公式如下：

預測出的意圖q^p是總結了現有的日志信息。