[發明專利]一種基于DQN的超聲波驅鳥最優頻率的選擇方法

有效

• 申請號: 202010530522.8
• 申請日: 2020-06-11
• 公開（公告）號: CN111972394B
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 陳益平;張羽;周慶東;藍偉松;甘團杰;劉天紹;張家耀;吳華標;周宇堯;莫鉅槐;張經緯
• 申請（專利權）人: 廣東電網有限責任公司;廣東電網有限責任公司江門供電局
• 主分類號: A01M29/18
• 分類號: A01M29/18;G06N3/04;G06F16/9537
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

本發明涉及超聲波驅鳥技術領域，具體涉及一種基于DQN的超聲波驅鳥最優頻率的選擇方法，具體包括如下步驟：S1：初始化鳥害防護裝置的Q網絡的權重θ、迭代次數閥值、先驗知識、經驗池和迭代次數；其中，先驗知識是根據某地區鳥害防護的經驗總結而得，包括某地區鳥害最嚴重的鳥類及其最敏感的頻率范圍；S2：更新Q神經網絡的權重θ；S3：使用多普勒雷達進行探測，讀取探測范圍內鳥的狀態s_t；S4：對鳥的狀態s_t進行判斷，如鳥類停留在探測范圍內，繼續步驟S5，如鳥類沒有停留在探測范圍內，重復步驟S3～S4等。本發明克服了現有的驅鳥頻率單一、隨機發生無效驅鳥頻率、驅鳥頻率被鳥類適應等問題，不能有針對性地驅趕涉害鳥類的現象問題。

技術領域

本發明涉及超聲波驅鳥技術領域，具體是涉及一種基于DQN的超聲波驅鳥最優頻率的選擇方法。

背景技術

隨著社會生產與人民生活水平的發展，電網用戶對供電質量與穩定性要求逐步提高。近幾年來，電力設備改造與升級使供電質量得到極大提升，供電可靠性和穩定性得到了保證。但斷電跳閘事故也偶有發生，給生活與生產帶來了一定影響。鳥類活動正是引發輸電線路故障的主要原因之一。

由于沒有考慮輸電線路涉害鳥種的習性，驅鳥器頻率參數等采用通用化設計。其中以超聲波驅鳥器為代表的驅鳥裝置(如申請號為201711440227.8，發明名稱為一種超聲波驅鳥飛行器)，出現了驅鳥頻率單一、隨機發生無效驅鳥頻率、驅鳥頻率被鳥類適應等問題，不能有針對性地驅趕涉害鳥類，且鳥類適應時間較短。

發明內容

本發明為克服上述現有的驅鳥頻率單一、隨機發生無效驅鳥頻率、驅鳥頻率被鳥類適應等問題，不能有針對性地驅趕涉害鳥類的現象問題，提供一種基于DQN的超聲波驅鳥最優頻率的選擇方法。

在本技術方案中，提供了一種基于DQN的超聲波驅鳥最優頻率的選擇方法，具體包括如下步驟：

S1：初始化鳥害防護裝置的Q神經網絡的權重θ、迭代次數閥值、先驗知識、經驗池和迭代次數；

S2：更新Q神經網絡的權重θ；

S3：使用多普勒雷達進行探測，讀取探測范圍內鳥的狀態s_t；

S4：對鳥的狀態s_t進行判斷，如鳥類停留在探測范圍內，繼續步驟S5，如鳥類沒有停留在探測范圍內，重復步驟S3～S4；

S5：判斷是否具有本地區的驅鳥先驗知識，包括本地區較為有效的超聲波驅鳥頻率；如有，則結合先驗知識，選擇Q值最大的頻率；否則，則根據DQN算法估計發射的最優頻率；

S6：根據選定的最優頻率，執行動作a_t使用超聲波發射電路發射該頻率的超聲波；

S7：再次使用多普勒雷達探測鳥類的狀態s_t+1以及反饋r_t；

S8：將(s_t，a_t，r_t，s_t+1)存入經驗池；

S9：判斷經驗池是否已滿，若未滿，則重復S3～S8；若滿，則重復訓練Q神經網絡，重復S2～S9，直至連續k次的反饋值相同時結束神經網絡訓練；

S10：獲取Q神經網絡，根據預設的初始狀態從Q神經網絡中獲得頻率調整指令；然后重復：調整頻率后查詢鳥類的狀態，再根據狀態調整頻率；當鳥類的狀態轉為離開時，生成得到鳥害防護裝置的最優驅鳥頻率。

優選地，在步驟S1中，先驗知識為根據某地區鳥害防護的數據總結得出，包括某地區鳥害最嚴重的鳥類及其最敏感的頻率范圍。

優選地，DQN算法為利用卷積神經網絡對Q表建模，以完整表示所有的狀態和動作空間。