[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的實(shí)時(shí)競價(jià)廣告資源分配方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011062131.4
• 申請(qǐng)日: 2020-09-30
• 公開（公告）號(hào): CN112163886A
• 公開（公告）日: 2021-01-01
• 發(fā)明（設(shè)計(jì)）人: 張程偉;鄭康潔;靳珊
• 申請(qǐng)（專利權(quán)）人: 大連海事大學(xué)
• 主分類號(hào): G06Q30/02
• 分類號(hào): G06Q30/02;G06N3/04;G06N3/08
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 陳麗;李洪福

本發(fā)明提供了一種基于強(qiáng)化學(xué)習(xí)的實(shí)時(shí)競價(jià)廣告資源分配方法，包括：對(duì)歷史廣告數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，得到CTR；將得到的CTR進(jìn)行加噪處理，得出AD Exchange和DSP對(duì)CTR的估值；按照不同等級(jí)預(yù)算限制將實(shí)時(shí)競價(jià)廣告印象分配問題建模為一組多級(jí)的馬爾科夫決策過程集合，對(duì)需要進(jìn)行折算的變量進(jìn)行折算；并將折算后的變量輸入到對(duì)應(yīng)等級(jí)的DQN中；獲取每個(gè)DQN計(jì)算出的累積回報(bào)值；對(duì)每個(gè)DQN得到的累積回報(bào)值進(jìn)行歸一化，通過對(duì)應(yīng)的修正函數(shù)進(jìn)行修正；將所有修正后的回報(bào)值進(jìn)行加權(quán)，根據(jù)得到的累積回報(bào)值確定不同動(dòng)作下的廣告資源分配策略，從廣告資源分配策略中選擇最優(yōu)的廣告分配策略。本發(fā)明實(shí)現(xiàn)了在保證AD Exchange利益的前提下，讓DSP分配的資源更加合理使得收益更高。

技術(shù)領(lǐng)域

本申請(qǐng)涉及廣告業(yè)務(wù)投放技術(shù)領(lǐng)域，特別是涉及基于強(qiáng)化學(xué)習(xí)的實(shí)時(shí)競價(jià)廣告資源分配方法。

背景技術(shù)

實(shí)時(shí)競價(jià)(Real-Time Bidding，RTB)是展示廣告(Display Advertising)的重要機(jī)制。RTB允許廣告主對(duì)每一個(gè)廣告展現(xiàn)進(jìn)行評(píng)估并出價(jià)，其核心是需求方平臺(tái)(DemandSide Platform，DSP)。DSP代表廣告主的利益，為有效實(shí)現(xiàn)展示廣告的自動(dòng)優(yōu)化投放，滿足廣告投放收益最大化的需求，制定實(shí)時(shí)高效的競價(jià)策略是DSP最需要解決的問題。為實(shí)現(xiàn)這一目標(biāo)，近年來，眾多相關(guān)研究工作將競價(jià)策略視為一個(gè)靜態(tài)優(yōu)化問題，即獨(dú)立處理每個(gè)廣告展現(xiàn)的價(jià)值，或者為不同的廣告流量設(shè)置不同的固定價(jià)格。但是，由于同一個(gè)廣告展現(xiàn)通常有數(shù)以千計(jì)甚至更多的競爭者參與競價(jià)，并且廣告主隨時(shí)可能更改投放計(jì)劃的設(shè)置，這導(dǎo)致競價(jià)環(huán)境高度動(dòng)態(tài)且不可預(yù)測(cè)。因此，此類靜態(tài)策略在實(shí)際應(yīng)用中難以達(dá)到廣告主的目標(biāo)。

為解決上述技術(shù)問題，現(xiàn)有技術(shù)中采用將競價(jià)決策過程視為強(qiáng)化學(xué)習(xí)問題的方式，利用馬爾科夫決策過程MDP對(duì)RTB進(jìn)行建模，通過值迭代的方式來找到最佳的值函數(shù)，然后通過找到的值函數(shù)，來獲得最佳的出價(jià)策略，最終用價(jià)高者得方式對(duì)所有出價(jià)進(jìn)行選擇，以此來提高RTB的效率和整體效果。

上述方法一定程度上緩解了預(yù)算過度消耗的問題，但是只能夠保證DSP的局部利益。然而在實(shí)際情況中，廣告印象的競拍并不是以一次性交易進(jìn)行的。廣告交易平臺(tái)(ADExchange)希望的是更多DSP可以一直在平臺(tái)上交易，這樣才能給AD Exchange和DSP帶來長久的利益。因此AD Exchange更希望的是在保證自己利益的前提下，幫助DSP匹配到更多合理的廣告印象資源。這也就使得價(jià)高者得方式不適合促進(jìn)AD Exchange和DSP共同利益的發(fā)展。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種基于強(qiáng)化學(xué)習(xí)的實(shí)時(shí)競價(jià)廣告資源分配方法，以實(shí)現(xiàn)在保證AD Exchange利益的前提下，讓DSP分配的資源更加合理使得收益更高。

本發(fā)明提供了以下技術(shù)方案：

一種基于強(qiáng)化學(xué)習(xí)的實(shí)時(shí)競價(jià)廣告資源分配方法，包括：

步驟1：對(duì)歷史廣告數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，得到廣告點(diǎn)擊率；

步驟2：將得到的點(diǎn)擊率進(jìn)行加噪處理，得出廣告交易平臺(tái)和所述需求方平臺(tái)對(duì)點(diǎn)擊率的估值；

步驟3：按照不同等級(jí)預(yù)算限制將實(shí)時(shí)競價(jià)廣告印象分配問題建模為一組多級(jí)的馬爾科夫決策過程集合，每個(gè)分級(jí)中，在預(yù)算約束下，需求方平臺(tái)根據(jù)所述點(diǎn)擊率的估值進(jìn)行出價(jià)；每個(gè)分級(jí)中的廣告狀態(tài)維度一致，對(duì)需要進(jìn)行折算的變量進(jìn)行折算；并將折算后的變量輸入到對(duì)應(yīng)等級(jí)的深度Q網(wǎng)絡(luò)中；

步驟4：獲取每個(gè)深度Q網(wǎng)絡(luò)計(jì)算出的累積回報(bào)值；

步驟5：對(duì)每個(gè)深度Q網(wǎng)絡(luò)得到的累積回報(bào)值進(jìn)行歸一化，使得尺度相同，通過對(duì)應(yīng)的修正函數(shù)進(jìn)行修正；

步驟6：將所有修正后的回報(bào)值進(jìn)行加權(quán)，根據(jù)得到的累積回報(bào)值確定不同動(dòng)作下的廣告資源分配策略，從所述廣告資源分配策略中選擇最優(yōu)的廣告分配策略；所述動(dòng)作為在多個(gè)需求方平臺(tái)的出價(jià)中選擇一個(gè)所述需求方平臺(tái)作為獲勝者。