[發(fā)明專利]搜索方法、裝置及電子設備

有效

• 申請?zhí)枺?/td>: 202010329527.4
• 申請日: 2020-04-24
• 公開（公告）號: CN111222052B
• 公開（公告）日: 2020-08-11
• 發(fā)明（設計）人: 鄭培祥;段超;蔡明宸;劉忠義;張翼;李濤
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535
• 代理公司: 北京博思佳知識產(chǎn)權代理有限公司 11415
• 代理人: 周嗣勇

公開一種搜索方法及裝置、電子設備，該方法可以包括：獲取用戶輸入的搜索數(shù)據(jù)樣本，在用戶的每次字符輸入時為用戶推薦的搜索模式，以及與所述搜索數(shù)據(jù)樣本對應的搜索時長；將所述搜索數(shù)據(jù)樣本中的輸入字符作為狀態(tài)，在用戶輸入該輸入字符時為用戶推薦的搜索模式作為動作，生成狀態(tài)動作對，并將所述搜索時長作為與所述狀態(tài)動作對對應的回報，對預設的強化學習模型進行強化學習訓練，得到搜索決策模型；響應于用戶輸入的搜索數(shù)據(jù)，將用戶每次輸入的輸入字符輸入訓練完成的所述搜索模式?jīng)Q策模型進行推薦計算，并將當前的搜索模式切換為所述搜索模式?jīng)Q策模型輸出的搜索模式，以使用戶基于所述搜索模式?jīng)Q策模型輸出的搜索模式執(zhí)行搜索。

技術領域

本申請涉及計算機應用技術領域，尤其涉及搜索方法、裝置及電子設備。

背景技術

隨著互聯(lián)網(wǎng)技術的發(fā)展和普及應用，用戶可以通過在業(yè)務系統(tǒng)中輸入關鍵詞進行搜索，得到業(yè)務系統(tǒng)返回的搜索結果；用戶可以進一步根據(jù)該搜索結果，執(zhí)行下一步業(yè)務操作。

發(fā)明內容

本說明書提出一種搜索方法，所述方法包括：

獲取用戶輸入的搜索數(shù)據(jù)樣本，在用戶的每次字符輸入時為用戶推薦的搜索模式，以及與所述搜索數(shù)據(jù)樣本對應的搜索時長；其中，所述搜索數(shù)據(jù)樣本包括按照輸入時刻排序的輸入字符序列；所述搜索模式包括直接搜索模式和建議詞搜索模式；所述搜索時長表征從用戶開始輸入字符到得到搜索結果的時間差；

將所述搜索數(shù)據(jù)樣本中的輸入字符作為狀態(tài)，在用戶輸入該輸入字符時為用戶推薦的搜索模式作為動作，生成狀態(tài)動作對，并將所述搜索時長作為與所述狀態(tài)動作對對應的回報，對預設的強化學習模型進行強化學習訓練，得到搜索決策模型；

響應于用戶輸入的搜索數(shù)據(jù)，將用戶每次輸入的輸入字符輸入訓練完成的所述搜索模式?jīng)Q策模型進行推薦計算，并將當前的搜索模式切換為所述搜索模式?jīng)Q策模型輸出的搜索模式，以使用戶基于所述搜索模式?jīng)Q策模型輸出的搜索模式執(zhí)行搜索。

可選的，所述在用戶的每次字符輸入時為用戶推薦的搜索模式，為在用戶的每次字符輸入時為用戶隨機推薦的搜索模式。

可選的，所述強化學習模型的回報函數(shù)的回報衰減因子為動態(tài)值。

可選的，所述強化學習模型的回報函數(shù)的回報衰減因子，為基于所述搜索數(shù)據(jù)中的所有字符輸入完成時的最大輸入次數(shù)確定出的動態(tài)值。

可選的，所述強化學習模型為深度強化學習模型；其中，所述深度強化學習模型包括用于擬合回報函數(shù)的衰減因子的深度學習網(wǎng)絡；

所述對預設的強化學習模型進行強化學習訓練，包括：

基于所述狀態(tài)動作對和所述搜索時長構建訓練樣本，基于構建的訓練樣本對預設的強化學習模型進行強化學習訓練，確定所述強化學習模型的回報函數(shù)中的模型參數(shù)；以及，

確定所述搜索數(shù)據(jù)樣本中的最大字符輸入次數(shù)，至少將所述最大字符輸入次數(shù)作為輸入數(shù)據(jù)輸入至所述深度學習網(wǎng)絡進行數(shù)據(jù)擬合，確定所述回報函數(shù)中的衰減因子。

可選的，所述回報函數(shù)基于以下公式表征：

其中， 為j時刻對應狀態(tài)動作對的搜索時長； 為j+1時刻狀態(tài)；表征該深度強化學習模型的模型參數(shù)；a′表征j時刻狀態(tài)到j+1時刻狀態(tài)所對應選擇的動作，該動作為搜索模式，該搜索模式可以為直接搜索模式或者建議詞搜索模式；f為用于表征擬合替代回報函數(shù)的衰減因子的深度學習網(wǎng)絡；index表征用戶輸入搜索數(shù)據(jù)過程中的第index次輸入，max_index表征用戶完成輸入搜索數(shù)據(jù)中的所有字符輸入時的最大輸入次數(shù)。

可選的，還包括：

在用戶輸入的搜索數(shù)據(jù)前，將當前的搜索模式默認設置為建議詞搜索模式。