[發(fā)明專利]推薦信息穿插位置確定方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010084798.8
• 申請(qǐng)日: 2020-02-10
• 公開（公告）號(hào): CN111310039B
• 公開（公告）日: 2022-10-04
• 發(fā)明（設(shè)計(jì)）人: 李軒增
• 申請(qǐng)（專利權(quán)）人: 江蘇滿運(yùn)軟件科技有限公司
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06F16/9538;G06N20/00
• 代理公司: 上海隆天律師事務(wù)所 31282
• 代理人: 夏彬

本發(fā)明提供了一種推薦信息穿插位置確定方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)，該方法包括采用強(qiáng)化學(xué)習(xí)對(duì)穿插位置進(jìn)行迭代訓(xùn)練，其中，將推薦信息穿插在各個(gè)位置分別作為一個(gè)動(dòng)作，并且在每一輪迭代訓(xùn)練中執(zhí)行如下步驟：根據(jù)用戶的搜索條件生成排序列表，并獲取推薦信息；根據(jù)當(dāng)前迭代執(zhí)行的動(dòng)作，將推薦信息插入所述排序列表；經(jīng)過預(yù)設(shè)時(shí)間段后，統(tǒng)計(jì)每個(gè)動(dòng)作所對(duì)應(yīng)的反饋量；根據(jù)所述反饋量計(jì)算每個(gè)動(dòng)作的偏好值；根據(jù)所述偏好值選擇執(zhí)行的動(dòng)作，并將選擇的動(dòng)作作為下一輪迭代執(zhí)行的動(dòng)作。本發(fā)明基于強(qiáng)化學(xué)習(xí)方式確定推薦信息的穿插位置，可以提升司機(jī)在搜貨過程中的體驗(yàn)，使得穿插貨源的觀感更加自然貼合司機(jī)的搜貨直覺，提升了用戶的使用體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及搜索技術(shù)領(lǐng)域，尤其涉及一種推薦信息穿插位置確定方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

司機(jī)用戶在物流服務(wù)平臺(tái)中搜索路線和貨源時(shí)，平臺(tái)會(huì)召回根據(jù)司機(jī)的搜索條件完全匹配的貨源而形成智能排序主搜列表，除此之外，為了給司機(jī)用戶更好的使用體驗(yàn)和更多的選擇，還會(huì)根據(jù)司機(jī)的搜索和司機(jī)的偏好等為司機(jī)推薦一些貨源。這些推薦信息會(huì)穿插在智能排序主搜列表中，因此會(huì)占用一些曝光位。

現(xiàn)有技術(shù)中的推薦信息穿插方法中，是固定一個(gè)展示位為穿插位置，將推薦信息插入到該穿插位置。然而這種固定穿插位置的方式，沒有考慮不同司機(jī)用戶自身偏好程度與所在搜貨路線的因素，對(duì)于部分只跑固定線路的司機(jī)或是所在路線存在其顯著的地域性特點(diǎn)時(shí)，顯性策略無法做出靈活調(diào)整，導(dǎo)致可能會(huì)出現(xiàn)占用過多優(yōu)質(zhì)曝光位而影響用戶使用體驗(yàn)的問題。

現(xiàn)有技術(shù)中有一些自適應(yīng)篩選路線的方案，然而該方法是在路線召回階段針對(duì)現(xiàn)有的幾套策略進(jìn)行更快的在線篩選，是對(duì)策略集的選擇，不具有普適性，并且難以長(zhǎng)期適應(yīng)新的路線變化或搜索場(chǎng)景的變化。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的問題，本發(fā)明的目的在于提供一種推薦信息穿插位置確定方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)，基于強(qiáng)化學(xué)習(xí)方式確定推薦信息的穿插位置，提升用戶使用體驗(yàn)。

本發(fā)明實(shí)施例提供一種推薦信息穿插位置確定方法，包括包括采用強(qiáng)化學(xué)習(xí)對(duì)穿插位置進(jìn)行迭代訓(xùn)練，其中，將推薦信息穿插在各個(gè)位置分別作為一個(gè)動(dòng)作，并且在每一輪迭代訓(xùn)練中執(zhí)行如下步驟：

接收用戶的搜索條件，根據(jù)所述搜索條件生成排序列表，并獲取推薦信息；

根據(jù)當(dāng)前迭代執(zhí)行的動(dòng)作，將推薦信息插入所述排序列表對(duì)應(yīng)的穿插位置；

經(jīng)過預(yù)設(shè)時(shí)間段后，統(tǒng)計(jì)每個(gè)動(dòng)作所對(duì)應(yīng)的反饋量；

根據(jù)所述反饋量計(jì)算每個(gè)動(dòng)作的偏好值；

根據(jù)所述偏好值選擇執(zhí)行的動(dòng)作，并將選擇的動(dòng)作作為下一輪迭代執(zhí)行的動(dòng)作。

可選地，在第一輪迭代訓(xùn)練開始時(shí)，隨機(jī)選擇當(dāng)前迭代執(zhí)行的動(dòng)作。

可選地，采用如下公式計(jì)算每個(gè)動(dòng)作的偏好值：

Q(a_i)＝(Q(a_i)*ts+Rt(a_i))/ts

其中，Q(a_i)為第i個(gè)動(dòng)作的偏好值，i∈(1，n)，n為動(dòng)作的總數(shù)量，Rt(a_i)為第i個(gè)動(dòng)作的反饋量，ts為預(yù)設(shè)時(shí)間段的時(shí)間長(zhǎng)度。

可選地，所述根據(jù)所述反饋量計(jì)算每個(gè)動(dòng)作的偏好值之后，還包括如下步驟：

統(tǒng)計(jì)預(yù)設(shè)時(shí)間段內(nèi)每個(gè)動(dòng)作所對(duì)應(yīng)的執(zhí)行次數(shù)；

根據(jù)每個(gè)動(dòng)作所對(duì)應(yīng)的執(zhí)行次數(shù)對(duì)每個(gè)動(dòng)作的偏好值進(jìn)行修正。

可選地，采用如下公式對(duì)每個(gè)動(dòng)作的偏好值進(jìn)行修正：