[發明專利]一種基于強化學習的排序學習方法及服務器

在審

• 申請號: 201710114414.0
• 申請日: 2017-02-28
• 公開（公告）號: CN108509461A
• 公開（公告）日: 2018-09-07
• 發明（設計）人: 李偉國;蔣欣;李航
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本發明公開了一種基于強化學習的排序學習方法，包括：服務器獲取歷史查詢詞，并獲取與歷史查詢詞相對應的M個文檔；服務器對M個文檔進行排序以獲取目標文檔排序列表；服務器獲取目標文檔排序列表的排序效果評估值；服務器將歷史查詢詞、M個文檔、目標文檔排序列表和排序效果評估值作為一個訓練樣本，并放入訓練樣本集合中；當訓練樣本集中的訓練樣本的數量大于預設數量時，服務器利用強化學習算法對所述訓練樣本集合進行訓練以獲取所述排序模型。采用本發明提供的技術方案有利于精確優化排序指標，從而提高用戶對查詢詞對應的文檔排序列表的排序結果的滿意度。

技術領域

本發明涉及排序學習領域，尤其涉及一種基于強化學習的排序學習方法及服務器。

背景技術

隨著互聯網快速發展，信息呈現爆炸式的增長。如何從海量的信息中快速找出用戶需要的數據成為信息檢索研究的重點。目前，從海量的信息中找出需要的數據主要是利用搜素引擎進行檢索的，并對搜索結果進行排序。

但隨著服務器的發展，影響對搜索結果的排序的因素越來越多，已無法通過人工方式來擬合出排序模型，這時候用機器學習就是非常合適的。排序學習算法是目前非常重要的一種機器學習算法。

排序學習算法是一類基于監督學習的排序算法，已經被廣泛應用到搜索、問答以及推薦等問題中?，F有的排序算法主要包括：單文檔(Pointwise)算法、文檔對(Pairwise)算法和文檔列表(Listwise)算法。其中，Pointwise算法是將排序問題轉化為回歸問題，對于每個“查詢詞-文檔”，學習排序模型使其得分與相關性標注擬合；Pairwise算法是將排序問題轉化為分類問題，對于每個“查詢詞”，學習排序模型使得其能夠區分不同的“候選文檔”間的相關性好壞(由標注決定)；Listwise算法是對于每個“查詢詞”，希望學習排序模型使得該查詢的整體排序效果最優。

現有的基于排序學習算法的模型需要依賴查詢詞與文檔之間的相關性標注數據來進行訓練，但無法使用通過用戶對查詢詞對應的文檔排序列表的排序效果進行評估而得到的數據，無法提高用戶對排序效果的滿意度。

發明內容

本發明實施例提供一種基于強化學習的排序學習方法和服務器，有利于提高用戶對查詢詞對應的文檔排序列表的排序結果的滿意度。

第一方面，本發明實施例提供一種基于強化學習的排序學習方法，包括：

接收模塊，用于接收用戶輸入的查詢詞；

第一獲取模塊，用于獲取與所述查詢詞相匹配的N個文檔；其中，所述N為自然數；

第一排序模塊，用于利用排序模型對所述N個文檔進行排序以獲取文檔排序列表；其中，所述排序模型是根據強化學習算法、歷史查詢詞以及與所述歷史查詢詞相對應的歷史文檔、所述歷史查詢詞對應的文檔排序列表和排序效果評估值訓練得到的；

顯示模塊，用于向所述用戶呈現所述目標文檔排序列表。與現有技術相比，通過強化學習算法不斷訓練上述排序模型，提高通過該排序模型獲得的文檔排序列表的排序效果，進而提高用戶對排序效果的滿意度。

在一種可行的實施例中，在所述服務器利用排序模型對所述N個文檔進行排序以獲取文檔排序列表之前，所述方法包括：

所述服務器利用排序模型對所述N個文檔進行排序以獲取文檔排序列表之前，所述方法還包括：

所述服務器獲取歷史查詢詞，并獲取與所述歷史查詢詞相對應的M個文檔；

所述服務器對所述M個文檔進行排序以獲取目標文檔排序列表；

所述服務器獲取所述目標文檔排序列表的排序效果評估值；

所述服務器將所述歷史查詢詞、所述M個文檔、所述目標文檔排序列表和所述排序效果評估值作為一個訓練樣本，并放入訓練樣本集合中；