[發明專利]一種基于DQN的超聲波驅鳥最優頻率的選擇方法

有效

• 申請號: 202010530522.8
• 申請日: 2020-06-11
• 公開（公告）號: CN111972394B
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 陳益平;張羽;周慶東;藍偉松;甘團杰;劉天紹;張家耀;吳華標;周宇堯;莫鉅槐;張經緯
• 申請（專利權）人: 廣東電網有限責任公司;廣東電網有限責任公司江門供電局
• 主分類號: A01M29/18
• 分類號: A01M29/18;G06N3/04;G06F16/9537
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

1.一種基于DQN的超聲波驅鳥最優頻率的選擇方法，其特征在于，具體包括如下步驟：

S1：初始化鳥害防護裝置的Q神經網絡的權重θ、迭代次數閥值、先驗知識、經驗池和迭代次數；

S2：更新Q神經網絡的權重θ；

S3：使用多普勒雷達進行探測，讀取探測范圍內鳥的狀態s_t；

S4：對鳥的狀態s_t進行判斷，如鳥類停留在探測范圍內，繼續步驟S5，如鳥類沒有停留在探測范圍內，重復步驟S3～S4；

S5：判斷是否具有本地區的驅鳥先驗知識，包括本地區較為有效的超聲波驅鳥頻率；如有，則結合先驗知識，選擇Q值最大的頻率；否則，則根據DQN算法估計發射的最優頻率；

S6：根據選定的最優頻率，執行動作a_t使用超聲波發射電路發射該頻率的超聲波；

S7：再次使用多普勒雷達探測鳥類的狀態s_t+1以及反饋r_t；

S8：將(s_t，a_t，r_t，s_t+1)存入經驗池；

S9：判斷經驗池是否已滿，若未滿，則重復S3～S8；若滿，則進入S10；

S10：獲取Q神經網絡，根據預設的初始狀態從Q神經網絡中獲得頻率調整指令；然后重復：調整頻率后查詢鳥類的狀態，再根據狀態調整頻率；當鳥類的狀態轉為離開時，生成得到鳥害防護裝置的最優驅鳥頻率。

2.根據權利要求1所述的一種基于DQN的超聲波驅鳥最優頻率的選擇方法，其特征在于，在步驟S1中，先驗知識為根據某地區鳥害防護的數據總結得出，包括某地區鳥害最嚴重的鳥類及其最敏感的頻率范圍。

3.根據權利要求2所述的一種基于DQN的超聲波驅鳥最優頻率的選擇方法，其特征在于，DQN算法為利用卷積神經網絡對Q表建模，以完整表示所有的狀態和動作空間。

4.根據權利要求1所述的一種基于DQN的超聲波驅鳥最優頻率的選擇方法，其特征在于，在步驟S2中根據DQN計算的Q值，通過對損失函數使用梯度下降法更新權重θ；

其中損失函數為：L_i(θ_i)＝E_{s，a～ρ(s，a)}[(y_i-Q(s，a；θ_i))²]；

其中，Q(s，a；θ_i)為Q(s，a)的估計值；E為期望，y_i代表Q(s，a)，i為迭代的次數；s為當前鳥類狀態；a為當前發射選擇頻率的超聲波；s′為發射超聲波之后鳥類狀態；a′為下一個發射選擇頻率的超聲波；ρ(s，a)為鳥類狀態s和發射超聲波a之間的概率分布。

5.根據權利要求4所述的一種基于DQN的超聲波驅鳥最優頻率的選擇方法，其特征在于，根據Bellman方程得出的Q(s，a)記為y_i，

Bellman方程為V(s)＝max_α(R(s，a)+γV(s′))；

其中R為獎勵函數，s為某一特定時間點的狀態，a為對當前狀態計算后采取的行動，γV(s′)為后繼狀態的折扣價值函數，γ為衰減系數，α為動作和狀態映射；

y_i的具體計算公式為：y_i＝E_s′[r+γmax_a′Q_i(s′，a′；θ_i-1)|s，a]；

其中，Q(s，a；θ_i)為Q(s，a)的估計值；i為迭代的次數；s為當前鳥類狀態；a為當前發射選擇頻率的超聲波；s′為發射超聲波之后鳥類狀態；a′為下一個發射選擇頻率的超聲波；ρ(s，a)為鳥類狀態s和發射超聲波a之間的概率分布。