[發明專利]一種基于深度強化學習的多機場協同放行方法

在審

• 申請號: 202111623998.7
• 申請日: 2021-12-28
• 公開（公告）號: CN114548893A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 蔡開泉;楊楊;李梓琦;李悅
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06Q10/06;G06Q10/04;G06Q50/30;G06N20/00
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 易卜

本發明提出了一種基于深度強化學習的多機場協同放行方法，屬于空中交通管理智能化領域，首先，針對待協同放行的m個機場，每個機場中涉及的各航空公司，將本航司在此m個機場中的所有航班按優先級從高到低排序；基于機場公平性生成滿足總延誤時間最小的初始離港航班隊列；然后，基于不同航班的優先級，對初始離港航班隊列建立以最小化總延誤成本為目標的多機場協同放行模型；并將多機場協同放行模型轉化為相對應的馬爾科夫決策過程；最后，選擇深度強化學習算法A3C對馬爾科夫決策過程進行求解，得到最終的多機場協同放行離港的隊列，降低了總延誤成本。本發明設計了一種新的多機場協同放行方法，以減少航班延誤，提高多機場系統的運行效益。

技術領域

本發明屬于空中交通管理智能化領域，具體涉及一種基于深度強化學習的多機場協同放行方法。

背景技術

隨著航空運輸業的高速發展以及區域經濟的不斷提升，多機場協同發展成為未來民航發展的新趨勢。多機場系統的形成大大提升了區域的發展前景，同時多機場系統也承擔著越來越重的運輸責任，由于機場密集、空域資源有限以及流量繁忙等原因造成的延誤，帶來了巨大的經濟損失，需亟待解決。其中，考慮航班優先級對多機場系統離港的航班隊列進行優化調整，是降低延誤成本，提高社會效益的有效方法。

協同放行對多機場的協同發展有著重要意義，可以充分利用區域內有限的空域資源；但是，目前關于協同放行的研究存在以下兩個方面問題：

(1)多機場協同放行采取先到先服務原則，這樣會使機場的總延誤時間最小。然而，由于各航班的機型、載客量、載客率、是否載有貴賓以及是否有緊急特殊任務等因素，造成航班的優先級不同，由先到先服務原則生成的起飛隊列的總延誤成本不一定最小，且對機場間延誤分配的公平性有待完善。

(2)多機場協同放行中離港航班隊列需要進行調整時，調整后的離港航班隊列只與當前離港航班隊列的狀態有關，與之前離港航班隊列的狀態無關，雖然符合馬爾科夫特性，但是現有研究未將協同放行轉化為相應的馬爾科夫決策過程。

同時考慮到求解效率，現有大多數求解多機場協同放行問題的方法，主要包括整數規劃及啟發式算法，但上述方法計算代價大，且微調約束條件后，需要重新計算。

發明內容

為解決上述問題，本發明提出了一種基于深度強化學習的多機場協同放行方法，可以快速生成總延誤成本更低的離港航班隊列，從而給予空中交通管理部門、航空公司和機場等單位輔助支持。

所述的深度強化學習的多機場協同放行方法，具體步驟如下：

步驟一、針對待協同放行的m個機場，每個機場中涉及的各航空公司，按優先級將本航司在此m個機場中的所有航班從高到低排序；

優先級按機型、載客量、載客率、是否載有貴賓和是否有緊急特殊任務從高到低排序，依次為優先級10至優先級1，各航空公司根據自身實際情況制定優先級設置標準，并對每架航班的優先級進行設置；

優先級設置標準為：10種不同優先級的航班數量的擬合曲線應該滿足冪律分布的概率密度函數：

f(x)＝cx^-α-1,x→∞ (1)

式中：c和α均為常數，當航空公司的總航班數量不同時，對應的c和α有所不同，但航空公司設置的本航司航班優先級分布的擬合曲線均呈現長尾函數態，每家航空公司不同優先級航班的比例基本相同，體現了航空公司公平性。

步驟二、基于機場公平性生成滿足總延誤時間最小的初始離港航班隊列；

初始離港航班隊列即：將延誤時間按航班數量比例分配到各機場中，各航班將自身的計劃起飛時間加上分配的延誤，按時間進行排隊，根據先到先服務原則形成初始離港航班隊列。

首先，生成基于機場公平性且滿足總延誤時間最小的目標函數；

目標函數為：