[發明專利]ETA的預測方法、模型訓練方法、裝置及存儲介質

有效

• 申請號: 202110183799.2
• 申請日: 2021-02-10
• 公開（公告）號: CN112525213B
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 姜正申
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G01C21/34
• 分類號: G01C21/34
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 張筱寧

1.一種預計到達時間ETA的預測方法，其特征在于，包括：

獲取目標用戶在當前時間步的行程特征；所述行程特征包括所述當前時間步對應的時刻以及剩余導航路線的路線特征；

將所述目標用戶在當前時間步的行程特征輸入至預先訓練的ETA預測模型，獲得所述ETA預測模型輸出的所述當前時間步的ETA；

其中，所述ETA預測模型在訓練時的獎勵值函數的輸入包括訓練樣本的實際到達時間ATA以及每一時間步的歷史預測ETA序列，所述獎勵值函數的輸出用于表征對所述每一時間步的預測ETA的準確性的評價結果；

所述歷史預測ETA序列包括所述每一時間步之前的至少一個時間步的預測ETA；所述每一時間步的預測ETA是根據所述ETA預測模型的策略函數在強化學習過程中根據所述每一時間步的所述行程特征預測出的ETA的概率分布獲得的。

2.根據權利要求1所述的預計到達時間ETA的預測方法，其特征在于，所述將所述目標用戶在當前時間步的行程特征輸入至預先訓練的ETA預測模型，獲得所述ETA預測模型輸出的所述當前時間步的ETA，包括：

對所述當前時間步的行程特征進行編碼，獲得當前時間步的特征向量；

將所述當前時間步的特征向量輸入至所述策略函數，獲得所述策略函數輸出的當前時間步的ETA的概率分布；

根據所述當前時間步的ETA的概率分布進行采樣，基于采樣結果，得到當前時間步的ETA。

3.根據權利要求1所述的預計到達時間ETA的預測方法，其特征在于，所述ETA預測模型通過如下方式訓練得到：

獲取所述訓練樣本的每一時間步的行程特征以及ATA；

將所述每一時間步的行程特征輸入至待訓練的ETA預測模型的策略函數，獲得所述策略函數輸出的所述每一時間步的ETA的概率分布；

根據所述ETA的概率分布進行采樣，獲得所述每一時間步的預測ETA；

將所述ATA以及每一時間步的歷史預測ETA序列輸入所述獎勵值函數，獲得所述獎勵值函數輸出的所述每一時間步的獎勵值；

根據所述每一時間步的獎勵值以及預測ETA的概率分布，對所述策略函數的參數進行訓練，將訓練完成的策略函數作為訓練后的ETA預測模型。

4.根據權利要求3所述的預計到達時間ETA的預測方法，其特征在于，所述將所述ATA以及每一時間步的歷史預測ETA序列輸入所述獎勵值函數，獲得所述獎勵值函數輸出的所述每一時間步的獎勵值，包括：

將所述每一時間步的預測ETA與所述ATA輸入至所述獎勵值函數，獲得所述獎勵值函數輸出的所述每一時間步的預測ETA的準確性獎勵值；所述準確性獎勵值用于表征所述每一時間步的預測ETA的準確程度；

將所述每一時間步的預測ETA與歷史預測ETA序列輸入至所述獎勵值函數，獲得所述獎勵值函數輸出的所述每一時間步的平穩性獎勵值；所述平穩性獎勵值用于表征所述每一時間步的預測ETA相對于所述歷史預測ETA序列的平穩下降程度；

結合所述每一時間步的準確性獎勵值和平穩性獎勵值，獲得所述每一時間步的獎勵值。

5.根據權利要求3所述的預計到達時間ETA的預測方法，其特征在于，所述根據所述每一時間步的獎勵值以及預測ETA的概率分布，對所述策略函數的參數進行訓練，包括：

根據所述每一時間步之后的所有時間步的獎勵值之和，獲得所述每一時間步的累加獎勵值；

根據所述每一時間步的累加獎勵值以及ETA的概率分布，通過梯度下降法對所述策略函數的參數進行訓練。

6.根據權利要求3至5任意一項所述的預計到達時間ETA的預測方法，其特征在于，所述對所述策略函數的參數進行訓練，包括：

將所述策略函數的所有參數劃分為第一組參數和第二組參數，所述第一組參數和所述第二組參數中不存在相同的參數；

根據所述行程特征生成特征向量；

根據所述特征向量與所述第一組參數的內積擬合正態分布的均值，根據所述特征向量與所述第二組參數的內積擬合正態分布的標準差，以完成對所述策略函數的參數的訓練。