[發明專利]一種流量傳輸策略的確定方法及裝置

有效

• 申請號: 202010634677.6
• 申請日: 2020-07-02
• 公開（公告）號: CN111917657B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 王穎;安恒彬;邢寧哲;紀雨彤;金燊;劉川;劉世棟;馬睿;歐清海;郭少勇
• 申請（專利權）人: 北京郵電大學;國網冀北電力有限公司信息通信分公司;國家電網有限公司;全球能源互聯網研究院有限公司;國家電網有限公司信息通信分公司;國網信息通信產業集團有限公司
• 主分類號: H04L47/10
• 分類號: H04L47/10;H04L47/125;G06K9/62
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

1.一種流量傳輸策略的確定方法，其特征在于，應用于軟件定義網絡的控制器，所述方法包括：

獲取所述軟件定義網絡中所有節點對的第一通信狀態，所述節點對包括通信連接的兩個節點，所述節點對包括的兩個節點之間存在至少一條傳輸路徑；

將所述所有節點對的第一通信狀態輸入預設學習模型，得到每一所述節點對的控制動作，所述控制動作包括所述節點對對應的每條傳輸路徑的負載比例，所述預設學習模型為基于預設訓練集對深度強化學習網絡進行訓練得到的模型，所述預設訓練集包括多個樣本組，每一樣本組包括多個樣本節點對的樣本控制動作、以及每一樣本節點對執行所述樣本控制動作前的第一樣本通信狀態和執行所述樣本控制動作后的第二樣本通信狀態；

基于每一所述節點對的控制動作，生成該節點對對應的流量傳輸策略；

所述深度強化學習網絡包括動作網絡和評判網絡，其中，所述動作網絡，用于基于輸入的節點對的通信狀態，輸出每一節點對的控制動作；所述評判網絡，用于基于輸入的各個節點對的通信狀態和控制動作，輸出各個節點對對應的通信評判值；所述預設學習模型采用以下步驟訓練得到：

獲取所述預設訓練集，所述預設訓練集包括多個樣本組，每一樣本組包括多個樣本節點對的樣本控制動作、以及每一樣本節點對執行所述樣本控制動作前的第一樣本通信狀態和執行所述樣本控制動作后的第二樣本通信狀態；

從所述預設訓練集包括的多個樣本組中，獲取多個目標樣本組；

基于每一目標樣本組包括的第二樣本通信狀態，確定該目標樣本組對應的多步收益值；

將每一目標樣本組包括的第一樣本通信狀態和樣本控制動作分別輸入所述評判網絡，輸出每一目標樣本組對應的通信評判值；

基于各個所述目標樣本組對應的通信評判值和多步收益值，更新所述動作網絡和所述評判網絡的參數，并累計所述預設學習模型的訓練次數，返回所述從所述預設訓練集包括的多個樣本組中，獲取多個目標樣本組的步驟，直至所述訓練次數達到預設訓練次數閾值。

2.根據權利要求1所述的方法，其特征在于，所述獲取所述預設訓練集的步驟，包括：

獲取多個樣本節點對的第一樣本通信狀態；

將所述多個樣本節點對的第一樣本通信狀態分別輸入所述動作網絡，得到每一所述樣本節點對對應的輸出控制動作；

基于所述輸出控制動作，確定所述多個樣本節點對的樣本控制動作；

控制所述多個樣本節點對執行所述樣本控制動作，得到所述多個樣本節點對執行所述樣本控制動作后的第二樣本通信狀態；

基于所述多個樣本節點對的第一樣本通信狀態、所述多個樣本節點對的樣本控制動作、以及所述多個樣本節點對執行所述樣本控制動作后的第二樣本通信狀態確定多個樣本組。

3.根據權利要求2所述的方法，其特征在于，所述基于所述輸出控制動作，確定所述多個樣本節點對的樣本控制動作的步驟，包括：

獲取預設的基礎控制動作；

按照預設的選擇所述基礎控制動作的概率，選取所述輸出控制動作或所述基礎控制動作，作為樣本控制動作。

4.根據權利要求1所述的方法，其特征在于，所述基于每一目標樣本組包括的第二樣本通信狀態，確定該目標樣本組對應的多步收益值的步驟，包括：

針對每一目標樣本組，獲取以該目標樣本組為起始點的連續多個關聯樣本組，在該目標樣本組和所述多個關聯樣本組中，每兩個相鄰的樣本組中，后一個樣本組包括的第一樣本通信狀態與前一個樣本組包括的第二樣本通信狀態相同；基于每一關聯樣本組包括的第二樣本通信狀態，確定該關聯樣本組對應的當前收益值，并基于該目標樣本組包括的第二樣本通信狀態，確定該目標樣本組對應的當前收益值；基于每一關聯樣本組對應的當前收益值和每一目標樣本組對應的當前收益值，確定該目標樣本組的多步收益值。