[發明專利]推薦信息穿插位置確定方法、系統、設備及存儲介質

有效

• 申請號: 202010084798.8
• 申請日: 2020-02-10
• 公開（公告）號: CN111310039B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 李軒增
• 申請（專利權）人: 江蘇滿運軟件科技有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9538;G06N20/00
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 夏彬

1.一種推薦信息穿插位置確定方法，其特征在于，包括采用強化學習對穿插位置進行迭代訓練，其中，將推薦信息穿插在各個位置分別作為一個動作，并且在每一輪迭代訓練中執行如下步驟：

接收用戶的搜索條件，根據所述搜索條件生成排序列表，并獲取推薦信息；

根據當前迭代執行的動作，將推薦信息插入所述排序列表對應的穿插位置；

經過預設時間段后，統計每個動作所對應的反饋量；

根據所述反饋量計算每個動作的偏好值；

根據所述偏好值選擇執行的動作，并將選擇的動作作為下一輪迭代執行的動作。

2.根據權利要求1所述的推薦信息穿插位置確定方法，其特征在于，在第一輪迭代訓練開始時，隨機選擇當前迭代執行的動作。

3.根據權利要求1所述的推薦信息穿插位置確定方法，其特征在于，采用如下公式計算每個動作的偏好值：

Q(a_i)＝(Q(a_i)*ts+Rt(a_i))/ts

其中，Q(a_i)為第i個動作的偏好值，i∈(1，n)，n為動作的總數量，Rt(a_i)為第i個動作的反饋量，ts為預設時間段的時間長度。

4.根據權利要求1所述的推薦信息穿插位置確定方法，其特征在于，所述根據所述反饋量計算每個動作的偏好值之后，還包括如下步驟：

統計預設時間段內每個動作所對應的執行次數；

根據每個動作所對應的執行次數對每個動作的偏好值進行修正。

5.根據權利要求4所述的推薦信息穿插位置確定方法，其特征在于，采用如下公式對每個動作的偏好值進行修正：

Q(a_i)’＝Q(a_i)+k₁*[(log(T_all)/T_a_i)*k₂]

其中，Q(a_i)’為第i個動作的修正后偏好值，Q(a_i)為第i個動作的修正前偏好值，T_all為預設時間段內所有動作的總執行次數，T_a_i為預設時間段內第i個動作的執行次數，k₁和k₂為預設系數。

6.根據權利要求1所述的推薦信息穿插位置確定方法，其特征在于，所述根據所述偏好值選擇執行的動作之后，還包括如下步驟：

判斷當前迭代獲得的每個動作的偏好值與前一輪迭代獲得的每個動作的偏好值的差值是否均小于預設閾值；

如果是，則結束當前迭代訓練，并將選擇的動作作為實際應用中執行的動作。

7.根據權利要求1所述的推薦信息穿插位置確定方法，其特征在于，所述根據所述偏好值選擇執行的動作，包括如下步驟：

采用eposilon-greedy策略，根據所述偏好值選擇執行的動作。

8.根據權利要求1所述的推薦信息穿插位置確定方法，其特征在于，所述每個動作所對應的反饋量包括每個動作所對應的電話量、點擊量和成交量中的至少一種。

9.一種推薦信息穿插位置確定系統，其特征在于，應用于權利要求1至8中任一項所述的推薦信息穿插位置確定方法，所述系統采用強化學習對穿插位置進行迭代訓練，所述系統包括：

用戶搜索模塊，用于接收用戶的搜索條件，根據所述搜索條件生成排序列表，并獲取推薦信息；

動作執行模塊，用于對于每一輪迭代訓練，根據當前迭代執行的動作，將推薦信息插入所述排序列表對應的穿插位置；

反饋統計模塊，用于對于每一輪迭代訓練，在應用當前迭代執行的動作并經過預設時間段后，統計每個動作所對應的反饋量；

偏好計算模塊，用于對于每一輪迭代訓練，根據統計得到的反饋量計算每個動作的偏好值；

動作選擇模塊，用于對于每一輪迭代訓練，根據計算得到的偏好值選擇執行的動作，并將選擇的動作作為下一輪迭代執行的動作。