[發明專利]基于機器學習構建模擬環境的智能營銷策略的訓練方法

有效

• 申請號: 202010160913.5
• 申請日: 2020-03-10
• 公開（公告）號: CN111339675B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 俞揚;秦熔均;姜允執;池飛
• 申請（專利權）人: 南棲仙策（南京）科技有限公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06Q30/02;G06N20/00;G06N3/08
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

本發明公開了一種基于機器學習構建模擬環境的智能營銷策略的訓練方法，主要包括(1)基于機器學習的模擬營銷平臺環境構建、(2)基于模擬營銷平臺環境的營銷策略搜索、(3)營銷策略遷移優化三大部分，解決營銷系統領域里的試錯成本高、營銷平臺變化快、營銷策略求解難的問題。

技術領域

本發明涉及一種基于機器學習構建模擬環境的智能營銷策略的訓練方法，涉及人工智能及互聯網數據處理技術領域。

背景技術

營銷的過程通常是營銷者設計好素材，選擇營銷受眾(即目標群體)、預算等可配置參數，將素材投放在社交媒體平臺上，平臺根據內部的策略進行展示，根據投放平臺反饋的統計數據信息，如瀏覽量、下載量，實際費用等，更新受眾、預算等可配置參數，直至該投放過程結束。這是一個典型的序列決策過程，營銷的目標是使得實際費用盡可能低的情況下，在目標受眾上的轉化率(可定為下載量或瀏覽量)盡可能高。由于素材投放之后，平臺內部會在大量的投放素材之間進行競價和推薦，最終進行展示，而平臺的策略無法直接獲得，也間接導致素材的投放是一個持續的、動態變化的過程，投放者需要憑借直覺和經驗決策，即決定如何進行下一次投放。

強化學習通過讓智能體與環境不斷交互試錯，提升智能體自身的決策能力和效率，使智能體在環境中逐漸學得最優控制策略(即最優決策策略)，自動完成決策任務。然而，強化學習的學習過程需要智能體與環境進行大量交互試錯，在實際的營銷過程中，如果直接使用強化學習，則需要使用大量不同的配置參數在真實的營銷平臺中進行試錯，然后從這些試錯的交互軌跡，獲得最優的投放策略，顯然這種方法會帶來巨大的資源浪費，試錯成本巨大，是不切實際的。

發明內容

發明目的：針對現有技術中存在的問題與不足，本發明提供一種基于機器學習構建模擬環境的智能營銷策略的訓練方法。

技術方案：一種基于機器學習構建模擬環境的智能營銷策略的訓練方法，主要包括營銷環境模擬器構造、策略搜索和策略遷移優化三個模塊的實現。現實中的營銷平臺通常會收到多個投放者的投放需求，經平臺內部競價和推薦策略計算后，進行實際投放，并將投放結果的統計量返回給各個投放者。由于其他投放者個數不定，其投放策略和平臺內部的策略均不可觀測，因此本發明將平臺和其他投放者建模為營銷環境，并構建模擬營銷環境，投放者進行投放操作后，模擬營銷環境返回對應的投放結果。

營銷環境模擬器構造模塊利用真實營銷環境中的歷史投放記錄數據(交互數據)，首先以投放者視角，對交互數據作狀態和動作編碼為S和a，其中狀態S包含平臺反饋的統計信息，動作a為投放內容、目標群體等具體投放行為，并按照時間先后順序，得到對應的狀態-動作序列，即(S0,a0,S1,a1,…,ST)序列。營銷環境模擬器利用機器學習方法，從編碼并劃分完成的狀態-動作序列中學得營銷環境模型，作為營銷環境模擬器，該模型輸入當前的“狀態”與執行的“動作”，輸出動作執行完成后的下一個“狀態”。

營銷環境模擬器構造完成后，策略搜索模塊利用策略搜索方法，和營銷環境模擬器交互，進行策略優化，例如優化目標為最大化下載量與實際花費的比值，并根據實際場景，建立約束，通過搜索之后，得到投放策略。為了增強策略的魯棒性，通常在訓練時需要進行噪聲擾動。

由于模擬營銷環境和真實營銷環境的狀態和動作空間具有一致性，可將在營銷環境模擬器中學得的營銷策略直接應用到真實營銷平臺上，但實際營銷場景中，平臺的內部策略通常也在不斷改進，因此將搜索得到的營銷策略部署后，策略遷移優化模塊需要收集部署后產生的新的交互數據，用于對營銷環境模擬器的進一步更新，并重新搜索策略，以提高各個模型的準確度和適應性。

附圖說明

圖1是本發明實施例的方法流程圖。

具體實施方式