[發明專利]一種基于強化學習的多通道短消息分發方法和系統

有效

• 申請號: 202210947402.7
• 申請日: 2022-08-09
• 公開（公告）號: CN115038055B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 陳文西;王鑫;張純磊;張承慧;張斌
• 申請（專利權）人: 北京金樓世紀科技有限公司
• 主分類號: H04W4/14
• 分類號: H04W4/14;H04W28/02;H04W28/18;G06Q10/04;G06Q10/06;G06Q50/30;G06N3/04;G06N3/08;G06N7/00;H04W4/24
• 代理公司: 北京格匯專利代理事務所(特殊普通合伙) 16088
• 代理人: 張偉洋

本發明公開了一種基于強化學習的多通道短消息分發方法和系統，包括如下步驟：S100，定義用于深度神經網絡模型的狀態、動作、獎勵和Q值函數；S200，對通道進行參數初始化；S300，將短消息分發需求和當前時刻的狀態輸入至所述模型，計算在當前時刻的狀態下各動作所對應的Q值，并作為Q值集合輸出；S400，根據所述Q值集合確定目標動作，執行目標動作，然后更新所述通道的資源狀態并得到下一時刻的狀態和當前時刻的獎勵值；S500，將當前時刻的狀態、下一時刻的狀態、目標動作和當前時刻的獎勵值作為當前時刻的一組四元組數據并存放在存儲空間中；S600，進入下一時刻，將步驟S400得到的下一時刻的狀態作為當前時刻的狀態，并重復步驟S300至S500，直至Q值函數收斂。

技術領域

本發明涉及短消息服務平臺，具體涉及一種基于強化學習的多通道短消息分發方法、系統、電子設備和計算機可讀存儲介質。

背景技術

“云消息”平臺是一種新型的短消息服務平臺，其通過整納各地運營商的消息通道資源，打造一體化短消息分發平臺，為各垂直行業提供短消息服務。然而，“云消息”平臺的通道資源分散于全國各地，且通道質量差異明顯（通道質量指發送成功率等）。并且，不同類型短消息的需求也不盡相同，例如驗證碼短消息要求實時性，而群發營銷類短消息則要求大通道資源。因此，當短消息企業尋求不同類型短消息服務時，如何為其選擇適配的短消息通道，同時保證“云消息”平臺的收益是一項關鍵問題。

現有的短消息服務平臺主要通過采用數學模型與啟發式算法這兩種方法，以滿足用戶的短消息分發需求，但是它們存在如下不足之處：

一、基于數學模型的短消息分發方法，通過對問題進行建模并設計相應的數學模型（例如整數線性規劃模型Integer Linear Programming），以為短消息分發提供最優解，但該數學模型的窮舉方式需要充分搜索求解空間才能得到最優解，造成其計算復雜度極高，同時，計算復雜度還隨著通道和短消息規模遞增而急劇增加，因而該方法只適用于小規模場景（即通道及短消息數量較少）的應用，難以滿足大規模場景的快速求解需求。

二、基于啟發式算法的短消息分發方法，通過對數學模型中的部分約束進行松弛化，可降低問題求解的計算復雜度，可適用于大規模通道和短消息場景下的分發優化，但是，啟發式算法只能盡量逼近上述數學模型所得最優解，因而該方法對于短消息分發的優化效果仍存在一定缺陷。

因此，如何實現大規模場景下的優質短消息分發是“云消息”平臺亟待解決的問題。

發明內容

基于上述現狀，本發明的主要目的在于提供一種基于強化學習的多通道短消息分發方法、電子設備和計算機可讀存儲介質，通過對深度神經網絡模型進行自主迭代優化，能夠根據短消息分發需求提供自適應的優質短消息分發策略，以提升云消息平臺運營效益，并最小化分發過程中短消息積壓量。

為實現上述目的，本發明采用的技術方案如下：

本發明的第一方面提供了一種基于強化學習的多通道短消息分發方法，用于云消息平臺，所述平臺包括多個運營商的多個可發送短消息的通道，所述方法包括如下步驟：

S100，根據馬爾科夫決策過程定義用于深度神經網絡模型的狀態、動作、獎勵和Q值函數，其中：

所述狀態由所述通道的剩余容量以及每個所述通道的短消息發送成本確定；

所述動作根據每個運營商的每個通道上分配的基于用戶和短消息類型的消息量確定；

所述獎勵根據所選擇的動作和相應的通道資源分配結果計算得到獎勵值；

所述Q值函數基于所述狀態和動作并經過所述模型訓練得到；

S200，對所述通道進行參數初始化；

S300，將短消息分發需求和當前時刻的狀態輸入至所述模型，由所述模型計算在當前時刻的狀態下各動作所對應的Q值，并作為Q值集合輸出；