[發明專利]一種自增強學習的撮合競價方法及系統

在審

• 申請號: 201710914516.0
• 申請日: 2017-09-29
• 公開（公告）號: CN107644370A
• 公開（公告）日: 2018-01-30
• 發明（設計）人: 程海花;鄭亞先;薛必克;耿建;楊爭林;邵平;龍蘇巖;郭艷敏;王高琴;史新紅;呂建虎;徐駿;黃春波;陳愛林;曾丹;葉飛;張旭;王秀麗;祁天星;張煒
• 申請（專利權）人: 中國電力科學研究院;國家電網公司;國網江蘇省電力公司;西安交通大學
• 主分類號: G06Q30/08
• 分類號: G06Q30/08;G06Q50/06
• 代理公司: 北京安博達知識產權代理有限公司11271
• 代理人: 徐國文

1.一種自增強學習的撮合競價方法，其特征在于，所述競價方法包括：

采集所有售電商的報價，其中設定待測售電商報價為初始競價，剩余其他售電商報價設定為初始售電商報價；

基于預先設定的步長分別調整初始售電商報價和初始競價構成售電商報價和競價報價；

基于所述初始售電商報價、初始競價、競價報價和售電商報價得到收益；

基于預先設定的步長重新調整電商報價和競價報價繼續計算收益，直到達到預先設定的學習報價輪數閾值；

基于所有的售電商報價、競價報價和收益確定最終競價報價。

2.如權利要求1所述的一種自增強學習的撮合競價方法，其特征在于，所述采集所有售電商的報價，其中待測售電商報價為初始競價，剩余其他售電商報價作為初始售電商報價包括：

采集所有售電商的報價構建集合S，S＝{s₁,s₂,…,s_n}，其中s₁,s₂,…,s_n為所有售電商報價；

設定待測售電商報價a_t，a_t∈S；

設定初始售電商報價為s_t，s_t∈S-a_t。

3.如權利要求1所述的一種自增強學習的撮合競價方法，其特征在于，所述基于預先設定的步長調整所述競價報價包括：

以小概率的ε‐greedy算法隨機選擇報價；

所述ε－greedy算法按下式計算：

ε＝temp^t

式中：temp：小于1的衰減系數；t：當前學習報價輪數。

4.如權利要求1所述的一種自增強學習的撮合競價方法，其特征在于，所述基于預先設定的步長調整所述售電商報價如下式：

式中：p_i,t：售電商i在t輪學習中的模擬報價；step_i：售電商i的競價風險調整步長；Gain_i：報價的函數，表征售電商i參與匹配的收益；其他：不滿足調價條件的情況；t：當前學習報價輪數。

5.如權利要求4所述的一種自增強學習的撮合競價方法，其特征在于，所述售電商i的競價風險調整步長step_i基于概率θ_t計算；

以概率θ_t選擇所述步長step_i，以概率1‐θ_t選擇原步長step_i；

所述概率θ_t的計算式如下：

θ_t＝θ₀^t

式中：θ₀：報價調整概率且0＜θ₀＜1。

6.如權利要求1‐5任一項所述的一種自增強學習的撮合競價方法，其特征在于，所述基于初始售電商報價、初始競價報價、新的競價報價和新的售電商報價采用Q‐learning算法得到收益由下式計算：

Q'(a_t,s_t)＝(1-α)Q(a_t,s_t)+αγmaxQ(a'_t+1,s'_t+1)

式中：α：學習率且0<α<1；γ：時間貼現率且0<γ<1；maxQ(a'_t+1,s'_t+1)：新狀態下的最大收益值；a'_t+1：新狀態下的最優策略；Q(a_t,s_t)：收益；Q'(a_t,s_t)：新狀態的收益；t：當前學習報價輪數。

7.如權利要求6所述的一種自增強學習的撮合競價方法，其特征在于，所述學習報價輪數閾值設定為1000。